数据传输质量监控方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114143224A(43)申请公布日2022.03.04(21)申请号202111443363.9(22)申请日2021.11.30(71)申请人上海哔哩哔哩科技有限公司地址200433上海市杨浦区政立路485号国正中心3号楼(72)发明人王翔宇白鑫魏泽丰(74)专利代理机构北京英特普罗知识产权代理有限公司11015代理人邓小玲(51)Int.Cl.H04L43/08(2022.01)H04L43/0823(2022.01)H04L43/0829(2022.01)H04L43/0852(2022.01)权利要求书3页说明书12页附图5页(54)发明名称数据传输质量监控方法及系统(57)摘要本申请公开了一种数据传输质量监控方法，该方法包括：针对数据传输链路中每个组件进行统一的元信息设置，其中，所述元信息中的指定项目在所述数据传输链路的每个所述组件之间全程透传；根据所述元信息在每个所述组件中进行埋点数据采集，并根据透传的所述指定项目对所述埋点数据进行时间对齐；将每个所述组件中采集到的所述埋点数据上报到监控端，以使监控端根据所述埋点数据进行数据传输质量展示和报警。本申请还公开了一种数据传输质量监控系统、电子装置和计算机可读存储介质。由此，能够实现所述数据传输链路中组件内、组件间以及全链路的质量监控。CN114143224ACN114143224A权利要求书1/3页1.一种数据传输质量监控方法，应用于数据传输链路，所述链路包括多个数据传输组件，其特征在于，所述方法包括：针对每个所述组件进行统一的元信息设置，其中，所述元信息中的指定项目在所述数据传输链路的每个所述组件之间全程透传；根据所述元信息在每个所述组件中进行埋点数据采集，并根据透传的所述指定项目对所述埋点数据进行时间对齐；将每个所述组件中采集到的所述埋点数据上报到监控端，以使监控端根据所述埋点数据进行数据传输质量展示和报警。2.根据权利要求1所述的数据传输质量监控方法，其特征在于，所述元信息包括数据生成时间、数据处理时间、数据流标识、组件标识、标识类型、埋点数量、错误信息；所述指定项目包括数据生成时间、数据处理时间、数据流标识。3.根据权利要求2所述的数据传输质量监控方法，其特征在于，所述指定项目中的所述数据生成时间和所述数据流标识在所述数据传输链路的第一个所述组件中生成，并传送至后续所有所述组件；所述数据处理时间在每个所述组件的输入和输出时更新，更新为当前时间。4.根据权利要求1至3任一项所述的数据传输质量监控方法，其特征在于，所述根据所述元信息在每个所述组件中进行埋点数据采集包括：根据所述元信息对每个所述组件中的数据传输质量埋点模型进行统一，抽象为入流量、处理错误、出流量。5.根据权利要求2至4任一项所述的数据传输质量监控方法，其特征在于，所述根据所述元信息在每个所述组件中进行埋点数据采集，并根据透传的所述指定项目对所述埋点数据进行时间对齐包括：统计当前组件中当前数据流的输入条数，并根据所述数据处理时间计算上一组件到当前组件的延迟；统计在当前组件中当前数据流的处理错误信息；统计当前组件中当前数据流的输出条数，并且根据所述数据处理时间计算当前组件内部的处理耗时。6.根据权利要求5所述的数据传输质量监控方法，其特征在于，所述统计当前组件中当前数据流的输入条数，并根据所述数据处理时间计算上一组件到当前组件的延迟包括：在当前组件输入的数据中根据所述数据流标识统计当前数据流的输入条数；根据上一组件输出时传送的所述数据处理时间，以及当前组件输入时更新的所述数据处理时间，计算出上一组件到当前组件的延迟。7.根据权利要求5或6所述的数据传输质量监控方法，其特征在于，所述统计当前组件中当前数据流的输出条数，并且根据所述数据处理时间计算当前组件内部的处理耗时包括：在当前组件输出的数据中根据所述数据流标识统计当前数据流的输出条数；根据当前组件输入时更新的所述数据处理时间，以及当前组件输出时再次更新的所述数据处理时间，计算出当前数据流在当前组件内部的处理耗时。8.一种数据传输质量监控方法，应用于数据传输链路的组件中，其特征在于，所述方法2CN114143224A权利要求书2/3页包括：接收针对所述数据传输链路中所有组件统一的元信息设置；接收上一组件传送的所述元信息中的指定项目；根据所述元信息在所述组件中进行埋点数据采集，并根据所述上一组件传送的所述指定项目对所述埋点数据进行时间对齐；将采集到的所述埋点数据上报到监控端，以使监控端根据所述埋点数据进行数据传输质量展示和报警。9.根据权利要求8所述的数据传输质量监控方法，其特征在于，所述方法还包括：将在所述组件中更新后的所述指定项目传送至下一组件。10.根据权利要求9所述的数