数据处理方法、系统及非暂时性存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114116162A(43)申请公布日2022.03.01(21)申请号202111370053.9(22)申请日2021.11.18(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人周冲(74)专利代理机构北京市一法律师事务所11654代理人李琳娜刘荣娟(51)Int.Cl.G06F9/48(2006.01)G06F9/54(2006.01)G06F16/2455(2019.01)权利要求书2页说明书14页附图4页(54)发明名称数据处理方法、系统及非暂时性存储介质(57)摘要本说明书提供的数据处理方法、系统及非暂时性存储介质，将实时计算的流任务处理逻辑与批任务处理逻辑相结合，既能使用流任务处理逻辑实时计算在线消息队列中当前时间周期的累计数据，同时又能使用了批任务处理逻辑计算离线数据库中多个历史时间周期的历史数据来补充所需的时间窗口中的数据，并将两部分数据合并后产生累计数据提供给用户使用，既避免了离线数据清洗中缺少当前时间周期的实时数据导致的数据时效性不足的问题，又克服了实时流任务处理逻辑中需要累计运行所需时间窗口长度的时间才能得到完整数据的问题。CN114116162ACN114116162A权利要求书1/2页1.一种数据处理方法，包括：接收数据处理请求，所述数据处理请求包括对目标时间窗口内的目标数据进行数据处理的请求；基于离线数据库以及在线消息队列确定目标分割点，所述目标分割点将所述目标时间窗口分为所述目标分割点前的第一时间窗口和所述目标分割点后的第二时间窗口；基于批任务处理逻辑，对所述离线数据库中所述第一时间窗口对应的第一数据进行所述数据处理，得到第一结果，所述目标数据包括所述第一数据；以及基于流任务处理逻辑，对所述在线消息队列中所述第二时间窗口对应的第二数据进行所述数据处理，得到第二结果，所述目标数据包括所述第二数据。2.如权利要求1所述的数据处理方法，其中，所述目标时间窗口部分位于所述离线数据库对应的时间窗口内，部分位于所述在线消息队列对应的时间窗口内，所述第一时间窗口完全位于所述离线数据库对应的时间窗口内，所述第二时间窗口完全位于所述在线消息队列对应的时间窗口内。3.如权利要求2所述的数据处理方法，其中，所述基于离线数据库以及在线消息队列确定目标分割点，包括：获取所述离线数据库以及所述在线消息队列；基于所述离线数据库对应的时间窗口以及所述目标时间窗口的交集，确定所述离线数据库对应的第一时间范围；基于所述在线消息队列对应的时间窗口以及所述目标时间窗口的交集，确定所述在线消息队列对应的第二时间范围；基于所述第一时间范围和所述第二时间范围的交集，确定第三时间范围；以及从所述第三时间范围中选择一个时间点作为所述目标分割点。4.如权利要求3所述的数据处理方法，其中，所述从所述第三时间范围中选择一个时间点作为所述目标分割点，包括以下情况中的一种：从所述第三时间范围中选择任意一个时间点作为所述目标分割点；从所述第三时间范围中选择任意一个边界时间点作为所述目标分割点；以及从所述第三时间范围中选择所述离线数据库的分区边界时间点作为所述目标分割点，所述离线数据库包括按照时间规则划分的多个分区，所述分区边界时间点包括所述多个分区中相邻分区的临界时间点。5.如权利要求3所述的数据处理方法，其中，所述基于批任务处理逻辑，对所述离线数据库中所述第一时间窗口对应的第一数据进行所述数据处理，得到第一结果，包括：从所述离线数据库中获取所述第一数据，所述第一数据包括基于所述离线数据库的分区规则划分的至少一个第一分区数据，所述分区规则包括按照时间周期分区；以及基于所述批任务处理逻辑，对所述至少一个第一分区数据进行所述数据处理，得到至少一个第一分区结果，所述第一结果包括所述至少一个第一分区结果。6.如权利要求3所述的数据处理方法，其中，所述基于流任务处理逻辑，对所述在线消息队列中所述第二时间窗口对应的第二数据进行所述数据处理，得到第二结果，包括：从所述在线消息队列中获取所述第二数据；以及基于所述流任务处理逻辑，对所述第二数据进行所述数据处理，得到所述第二结果。2CN114116162A权利要求书2/2页7.如权利要求1所述的数据处理方法，其中，还包括：输出所述第一结果以及所述第二结果。8.如权利要求7所述的数据处理方法，其中，所述输出所述第一结果和所述第二结果，包括：将所述第一结果和所述第二结果合并，得到目标结果并输出。9.一种数据处理系统，包括：至少一个存储介质，存储有至少一个指令集，用于数据处理；以及至少一个处理器，同所述至少一个存储介质通信连接，其中，当所述数据处理系统运行时，所述至少一个处理器