数据处理方法、装置、系统和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110838888A(43)申请公布日2020.02.25(21)申请号201810931533.X(22)申请日2018.08.16(71)申请人中国电信股份有限公司地址100033北京市西城区金融大街31号(72)发明人杨迪汪少敏(74)专利代理机构中国国际贸易促进委员会专利商标事务所11038代理人李昊(51)Int.Cl.H04L1/00(2006.01)H04L12/26(2006.01)权利要求书2页说明书6页附图3页(54)发明名称数据处理方法、装置、系统和计算机可读存储介质(57)摘要本发明公开了一种数据处理方法、装置、系统和计算机可读存储介质，涉及网络传输技术领域。数据处理方法包括：获取数据接收点的数据处理压力值；将数据处理压力值与预设阈值进行比较；根据比较结果对数据接收点的数据接收间隔进行调整，以便数据接收点根据调整后的数据接收间隔分批截取和处理数据。本发明的实施例可以根据数据处理压力动态地调整数据接收点的数据接收间隔、即时间窗口值，从而使得设置的数据接收间隔与实际需求更匹配，提高了数据处理的稳定性和资源利用率。CN110838888ACN110838888A权利要求书1/2页1.一种数据处理方法，包括：获取数据接收点的数据处理压力值；将所述数据处理压力值与预设阈值进行比较；根据所述比较结果对数据接收点的数据接收间隔进行调整，以便数据接收点根据调整后的数据接收间隔分批截取和处理数据。2.根据权利要求1所述的数据处理方法，其中，在所述数据处理压力值大于预设高门限阈值的情况下，缩小数据接收间隔；在所述数据处理压力值小于预设低门限阈值的情况下，增大数据接收间隔。3.根据权利要求1所述的数据处理方法，其中，在所述数据处理压力值在持续的预设时长内均大于预设高门限阈值的情况下，缩小数据接收间隔；在所述数据处理压力值在持续的预设时长内均小于预设低门限阈值的情况下，增大数据接收间隔。4.根据权利要求1所述的数据处理方法，还包括：采集网络压力指标值和数据接收点压力指标值，以便根据采集的网络压力指标值和数据接收点压力指标值确定数据处理压力值。5.根据权利要求4所述的数据处理方法，其中，网络压力指标包括网络的流量、流速中的至少一种，数据接收点压力指标包括中央处理器利用率、内存利用率、数据处理时间中的至少一种。6.根据权利要求1所述的数据处理方法，其中，所述获取数据接收点的数据处理压力值包括：根据多种数据处理压力指标值的加权值确定数据处理压力值。7.根据权利要求1～6中任一项所述的数据处理方法，其中，所述数据接收点接收的数据为流式数据。8.一种数据处理装置，包括：获取模块，被配置为获取数据接收点的数据处理压力值；比较模块，被配置为将所述数据处理压力值与预设阈值进行比较；调整模块，被配置为根据所述比较结果对数据接收点的数据接收间隔进行调整，以便数据接收点根据调整后的数据接收间隔分批截取和处理数据。9.根据权利要求8所述的数据处理装置，其中，所述调整模块进一步被配置为在所述数据处理压力值大于预设高门限阈值的情况下，缩小数据接收间隔；在所述数据处理压力值小于预设低门限阈值的情况下，增大数据接收间隔。10.根据权利要求8所述的数据处理装置，其中，所述调整模块进一步被配置为在所述数据处理压力值在持续的预设时长内均大于预设高门限阈值的情况下，缩小数据接收间隔；在所述数据处理压力值在持续的预设时长内均小于预设低门限阈值的情况下，增大数据接收间隔。11.根据权利要求8所述的数据处理装置，还包括：采集模块，被配置为采集网络压力指标值和数据接收点压力指标值；所述获取模块进一步被配置为根据采集的网络压力指标值和数据接收点压力指标值2CN110838888A权利要求书2/2页确定数据处理压力值。12.根据权利要求8所述的数据处理装置，其中，所述获取模块进一步被配置为根据多种数据处理压力指标值的加权值确定数据处理压力值。13.一种数据处理系统，包括：权利要求8～12中任一项所述的数据处理装置；和，数据接收点，被配置为根据所述数据处理装置调整的数据接收间隔分批截取和处理数据。14.一种数据处理装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～7中任一项所述的数据处理方法。15.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1～7中任一项所述的数据处理方法。3CN110838888A说明书1/6页数据处理方法、装置、系统和计算机可读存储介质技术领域[0001]本发明涉及网络传输技术领域，特别涉及一种数据处理方法、装置、系统和计算机可读存储介质。背景技术[0002]在目前的数据实时接收处理