一种数据处理链路的控制方法、装置和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760501A(43)申请公布日2021.12.07(21)申请号202110128935.8(22)申请日2021.01.29(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人王巧慧袁征冯玉敏张睿王健羽刘建家(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人杨倩张效荣(51)Int.Cl.G06F9/48(2006.01)G06F21/62(2013.01)权利要求书2页说明书10页附图6页(54)发明名称一种数据处理链路的控制方法、装置和系统(57)摘要本发明公开了一种数据处理链路的控制方法、装置和系统，涉及计算机技术领域。该方法的一具体实施方式包括：针对数据处理链路中多个当前任务节点中的每一个当前任务节点作为当前任务节点，执行：检测当前任务节点所产生的数据的数据质量；基于检测的结果以及预先为当前任务节点配置的链路阻断策略，控制当前任务节点所在的数据处理链路，其中，预先为当前任务节点配置的链路阻断策略是存储的多种链路阻断策略中的一种。该实施方式能够满足不同数据分析和数据计算链路对数据质量的不同需求。CN113760501ACN113760501A权利要求书1/2页1.一种数据处理链路的控制方法，其特征在于，包括：针对所述数据处理链路中多个当前任务节点中的每一个所述当前任务节点作为当前任务节点，执行：检测所述当前任务节点所产生的数据的数据质量；基于检测的结果以及预先为所述当前任务节点配置的链路阻断策略，控制所述当前任务节点所在的数据处理链路，其中，预先为所述当前任务节点配置的链路阻断策略是存储的多种链路阻断策略中的一种。2.根据权利要求1所述的数据处理链路的控制方法，其特征在于，预先为所述当前任务节点配置的链路阻断策略，包括：当检测的结果指示所述数据质量存在质量问题时，直接阻断所述当前任务节点的下一任务节点。3.根据权利要求2所述的数据处理链路的控制方法，其特征在于，控制所述当前任务节点所在的数据处理链路，包括：将所述当前任务节点的任务设置为执行失败，以阻断所述当前任务节点的下一任务节点。4.根据权利要求1所述的数据处理链路的控制方法，其特征在于，预先为所述当前任务节点配置的链路阻断策略，包括：将检测的结果发送给客户端，并接收所述客户端发送的链路执行指令；当所述链路执行指令指示阻断所述数据处理链路时，阻断所述当前任务节点的下一任务节点；当所述链路执行指令指示继续执行所述数据处理链路时，控制所述当前任务节点的下一任务节点继续执行。5.根据权利要求1所述的数据处理链路的控制方法，其特征在于，当检测的结果指示所述数据质量存在质量问题时，锁定所述当前任务节点产生的数据；判断所述当前任务节点的下一任务节点是否具有访问锁定的数据的权限，如果是，则控制所述下一任务节点处理所述锁定的数据；否则，阻断所述下一任务节点执行。6.根据权利要求5所述的数据处理链路的控制方法，其特征在于，所述当前任务节点产生的数据分属于多个数据文件中；锁定所述当前任务节点产生的数据，包括：锁定所述多个数据文件中存在质量问题的数据文件；所述控制所述下一任务节点处理锁定的数据，包括：控制下一任务节点处理锁定的存在质量问题的数据文件。7.根据权利要求5或6所述的数据处理链路的控制方法，其特征在于，进一步包括：为所述产生的数据设置白名单，其中，所述白名单维护有所述当前任务节点对应的至少一个下一任务节点，属于所述白名单内的下一任务节点具有处理锁定的数据的权限；判断所述下一任务节点是否具有访问所述锁定的数据的权限，包括：判断所述下一任务节点是否属于所述锁定的数据的白名单，如果是，则确定所述下一2CN113760501A权利要求书2/2页任务节点具有访问所述锁定的数据的权限，否则，确定所述下一任务节点无访问所述锁定的数据的权限。8.根据权利要求6所述的数据处理链路的控制方法，其特征在于，进一步包括：当所述当前任务节点所需处理的数据不包括存在质量问题的数据文件时，控制下一任务节点执行。9.一种数据处理链路的控制装置，其特征在于，包括：质量检测单元以及阻断控制单元，其中，所述质量检测单元，用于针对所述数据处理链路中多个任务节点中的每一个所述任务节点作为当前任务节点，执行：检测所述当前任务节点产生的数据的数据质量；所述阻断控制单元，用于针对所述数据处理链路中多个任务节点中的每一个所述任务节点作为当前任务节点，执行：基于检测的结果以及预先为所述当前任务节点配置的链路阻断策略，控制所述当前任务节点所在的数据处理链路，其中，预先为所述当前任务节点配置的链路阻断策略是存储的多种链路