数据处理系统、方法、装置、计算机可读存储介质及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114205654A(43)申请公布日2022.03.18(21)申请号202111535736.5(22)申请日2021.12.15(71)申请人中国电信股份有限公司地址100033北京市西城区金融大街31号(72)发明人孙梓洋余波俞翔张永民(74)专利代理机构北京律智知识产权代理有限公司11438代理人王辉阚梓瑄(51)Int.Cl.H04N21/262(2011.01)H04N21/231(2011.01)权利要求书3页说明书12页附图5页(54)发明名称数据处理系统、方法、装置、计算机可读存储介质及设备(57)摘要本申请提供一种数据处理系统、方法、装置、计算机可读存储介质及设备，涉及计算机技术领域，上述系统中，协调器，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式。采集器，用于根据目标数据采集模式将增量明文数据读入缓存；在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存。分拣器，用于根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。可见，实施上述方法可以提升数据采集效率、数据处理效率，降低设备维护难度。CN114205654ACN114205654A权利要求书1/3页1.一种数据处理系统，其特征在于，所述系统至少包括协调器、采集器和分拣器，其中：所述协调器，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；根据所述中央处理器当前负载和所述增量明文数据从至少两种数据采集模式中确定目标数据采集模式；所述采集器，用于根据所述目标数据采集模式将所述增量明文数据读入缓存；在检测到所述增量明文数据中存在预设标识时，将所述缓存中的所有数据传输至分拣器，并清空所述缓存；所述分拣器，用于根据预设切割规则将所述增量明文数据切割为多个待处理数据页，并根据所述多个待处理数据页生成符合预设格式的结构化数据。2.根据权利要求1所述的系统，其特征在于，所述系统还包括数据补全器，若所述采集器检测到缓存空间占用率大于预设占用率且未检测到所述预设标识，其中：所述采集器，还用于在检测到所述缓存中只存在至少一条完整数据时，将所述至少一条完整数据传输至所述分拣器，并清空所述缓存；所述采集器，还用于在检测到所述缓存中存在至少一条完整数据以及不完整数据时，将所述至少一条完整数据传输至所述分拣器，将所述不完整数据传输至所述数据补全器，并清空所述缓存。3.根据权利要求2所述的系统，其特征在于，其中：所述采集器，还用于在进行新一轮缓存读入时，从所述数据补全器中获取所述不完整数据，并将所述不完整数据与所述增量明文数据中未被处理的剩余数据读入所述缓存；所述采集器，还用于在检测到所述剩余数据中存在所述预设标识时，将所述缓存中的所有数据传输至所述分拣器，并清空所述缓存。4.根据权利要求1所述的系统，其特征在于，所述系统还包括监视器和记录器，其中：所述监视器，用于获取所述记录器中的数据处理进度以及数据总量；所述监视器，还用于根据所述数据处理进度和所述数据总量确定数据增量；所述监视器，还用于确定所述数据增量对应的增量明文数据与特定标记之间的对应关系，若所述增量明文数据与特定标记无对应关系，则向所述协调器发送所述触发启动指令。5.根据权利要求1所述的系统，其特征在于，其中，所述协调器，还用于在根据所述中央处理器当前负载和所述增量明文数据从至少两种数据采集模式中确定目标数据采集模式之前，在检测到所述增量明文数据大于等于预设门限值时，根据所述预设门限值将所述增量明文数据进行分割，并根据分割得到的对应于所述预设门限值的增量明文数据确定起始处理位置和截至处理位置；根据所述起始处理位置和所述截至处理位置生成触发启动指令，向所述采集器发送所述触发启动指令；以及，所述采集器根据所述目标数据采集模式将所述增量明文数据读入缓存，包括：所述采集器基于所述触发启动指令并根据所述目标数据采集模式将所述增量明文数据读入缓存；所述监视器根据所述起始处理位置和所述截至处理位置生成触发启动指令，向所述协调器发送所述触发启动指令。6.根据权利要求1所述的系统，其特征在于，所述协调器根据所述中央处理器当前负载和所述增量明文数据从至少两种数据采集模式中确定目标数据采集模式，包括：2CN114205654A权利要求书2/3页所述协调器在检测到所述中央处理器当前负载大于等于预设负载阈值或者所述增量明文数据大于等于预设处理量时，将单线程采集模式确定为所述目标数据采集模式；所述协调器在检测到所述增量明文数据小于或等于所述预设处