故障处理方法、装置、电子设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114816866A(43)申请公布日2022.07.29(21)申请号202210499629.X(22)申请日2022.05.09(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人裴周宇付海涛(74)专利代理机构中原信达知识产权代理有限责任公司11219专利代理师张春晓郝红玉(51)Int.Cl.G06F11/20(2006.01)权利要求书2页说明书12页附图4页(54)发明名称故障处理方法、装置、电子设备和存储介质(57)摘要本发明公开了故障处理方法、装置、电子设备和存储介质，涉及计算机技术领域。该方法的一具体实施方式包括：响应于故障任务节点的处理指令，获取故障任务节点的节点信息，以确定对应的故障恢复策略并触发；响应于故障恢复策略为故障节点恢复策略，建立故障任务节点对应的替换任务节点，查询故障任务节点对应上游任务节点的工作状态；响应于工作状态为预设状态，向替换任务节点发送启动指令；响应于工作状态不为预设状态，在监听到故障任务节点对应上游任务节点的工作状态更新为预设状态后，向替换任务节点发送启动指令。该实施方式能够Flink中单个任务节点出现故障后，需要对所有任务节点重新部署，降低业务数据处理的实效性的问题。CN114816866ACN114816866A权利要求书1/2页1.一种故障处理方法，其特征在于，包括：响应于故障任务节点的处理指令，获取所述故障任务节点的节点信息，以确定对应的故障恢复策略并触发；响应于所述故障恢复策略为故障节点恢复策略，建立所述故障任务节点对应的替换任务节点，查询所述故障任务节点对应上游任务节点的工作状态；响应于所述工作状态为预设状态，向所述替换任务节点发送启动指令；响应于所述工作状态不为所述预设状态，在监听到所述故障任务节点对应上游任务节点的工作状态更新为预设状态后，向所述替换任务节点发送启动指令。2.根据权利要求1所述的方法，其特征在于，还包括：响应于所述故障恢复策略为全部节点恢复策略，建立所述故障任务节点对应的替换任务节点；获取全部任务节点的关联关系，以基于所述关联关系依次向所述全部任务节点发送启动指令。3.根据权利要求1所述的方法，其特征在于，所述故障恢复策略包括所述故障节点恢复策略和全部节点恢复策略；获取所述故障任务节点的节点信息，以确定对应的故障恢复策略，包括：基于所述节点信息判断所述故障任务节点是否为全部任务节点；若是，则确定故障恢复策略为所述全部节点恢复策略；若否，则确定故障恢复策略为所述故障节点恢复策略。4.根据权利要求1所述的方法，其特征在于，建立所述故障任务节点对应的替换任务节点，包括：构建所述故障任务节点对应的替换任务节点，将所述替换任务节点更新至任务节点管理器，向所述替换任务节点发送调度指令，以使所述替换任务节点向对应的上游任务节点发送分区更新请求，其中，所述上游任务节点接收所述分区更新请求后，确定所述替换任务节点对应的分区，并建立所述分区与所述替换任务节点之间的映射关系。5.根据权利要求4所述的方法，其特征在于，确定所述替换任务节点对应的分区，并建立所述分区与所述替换任务节点之间的映射关系，包括：查询所述故障任务节点对应的分区，以确定为所述替换任务节点对应的分区；基于所述分区创建所述替换任务节点对应的分区视图对象，获取所述故障任务节点对应分区视图对象中缓存队列参数，以更新为所述替换任务节点对应分区视图对象的缓存队列参数。6.根据权利要求1所述的方法，其特征在于，向所述替换任务节点发送启动指令之后，还包括：查询所述替换任务节点对应下游任务节点的节点信息，向所述下游任务节点发送分区更新消息，以使所述下游任务节点基于所述分区更新消息从所述替换任务节点读取数据。7.根据权利要求6所述的方法，其特征在于，基于所述分区更新消息从所述替换任务节点读取数据之后，还包括：调用预设的反序列化处理器，获取所述数据中的序列标识，判断所述序列标识是否为预测标识；2CN114816866A权利要求书2/2页若是，则触发对应的处理程序，以对所述数据进行处理；若否，则判断所述序列标识是否为目标值，如果是则触发数据清理事件，以清理所述反序列化处理器中缓存数据，否则发送提示消息。8.一种故障处理装置，其特征在于，包括：确定单元，用于响应于故障任务节点的处理指令，获取所述故障任务节点的节点信息，以确定对应的故障恢复策略并触发；判断单元，用于响应于所述故障恢复策略为故障节点恢复策略，建立所述故障任务节点对应的替换任务节点，查询所述故障任务节点对应上游任务节点的工作状态；启动单元，用于响应于所述工作状态为预设状态，向所述替换任务节点发