流数据回溯方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115509865A(43)申请公布日2022.12.23(21)申请号202211241773.X(22)申请日2022.10.11(71)申请人中国农业银行股份有限公司地址100005北京市东城区建国门内大街69号(72)发明人钟新斌李志伟(74)专利代理机构北京品源专利代理有限公司11332专利代理师王风茹(51)Int.Cl.G06F11/30(2006.01)G06F16/23(2019.01)G06F9/54(2006.01)权利要求书2页说明书10页附图3页(54)发明名称流数据回溯方法、装置、电子设备及存储介质(57)摘要本发明实施例公开了一种流数据回溯方法、装置、电子设备及存储介质。其中，该方法包括：将获取到的流数据放入消息队列，并对流数据添加时间顺序标签；根据流数据的时间顺序标签，确定流数据的偏移量信息；从消息队列中确定待迁移流数据，并根据待迁移流数据确定增量数据文件；其中，增量数据文件用于记录待迁移流数据；根据增量数据文件的存储路径，对待迁移流数据的偏移量信息进行更新，确定待迁移流数据的更新偏移量信息；根据更新偏移量信息和消息队列中剩余流数据的未更新偏移量信息，确定待回溯流数据。本技术方案，能够有效支持大规模流数据回溯，提高了流数据回溯质量，能够更好地满足实际应用中对大规模流数据的回溯需求。CN115509865ACN115509865A权利要求书1/2页1.一种流数据回溯方法，其特征在于，所述方法包括：将获取到的流数据放入消息队列，并对所述流数据添加时间顺序标签；其中，所述时间顺序标签用于表征所述流数据的获取顺序；根据所述流数据的时间顺序标签，确定所述流数据的偏移量信息；其中，所述偏移量信息用于描述与流数据获取时间对应的时间顺序标签；从所述消息队列中确定待迁移流数据，并根据所述待迁移流数据确定增量数据文件；其中，所述增量数据文件用于记录所述待迁移流数据；根据所述增量数据文件的存储路径，对所述待迁移流数据的偏移量信息进行更新，确定所述待迁移流数据的更新偏移量信息；根据所述更新偏移量信息和所述消息队列中剩余流数据的未更新偏移量信息，确定待回溯流数据。2.根据权利要求1所述的方法，其特征在于，根据所述流数据的时间顺序标签，确定所述流数据的偏移量信息，包括：基于预设时间间隔，从所述消息队列中获取所述时间顺序标签最大的流数据作为候选流数据；根据所述候选流数据的获取时间以及所述候选流数据的时间顺序标签，确定所述候选流数据的候选偏移量信息。3.根据权利要求2所述的方法，其特征在于，从所述消息队列中确定待迁移流数据，并根据所述待迁移流数据确定增量数据文件，包括：基于预设过期时间从所述消息队列中确定待迁移流数据；根据所述候选偏移量信息确定所述待迁移流数据的偏移量信息；根据所述待迁移流数据的偏移量信息确定增量数据文件。4.根据权利要求3所述的方法，其特征在于，根据所述待迁移流数据的偏移量信息确定增量数据文件，包括：根据所述待迁移流数据的偏移量信息中的流数据获取时间，对所述待迁移流数据的偏移量信息进行排序；基于排序结果，根据在前偏移量信息对应的待迁移流数据，以及与所述在前偏移量信息相邻的在后偏移量信息对应的待迁移流数据之前的待迁移流数据，确定所述在前偏移量信息对应的增量数据文件。5.根据权利要求1或4所述的方法，其特征在于，根据所述增量数据文件的存储路径，对所述待迁移流数据的偏移量信息进行更新，包括：令所述待迁移流数据的偏移量信息中的流数据获取时间保持不变，同时将所述待迁移流数据的偏移量信息中的时间顺序标签，替换为所述增量数据文件的存储路径，以对所述待迁移流数据的偏移量信息进行更新。6.根据权利要求5所述的方法，其特征在于，根据所述更新偏移量信息和所述消息队列中剩余流数据的未更新偏移量信息，确定待回溯流数据，包括：根据所述更新偏移量信息中的流数据获取时间，以及所述未更新偏移量信息中的流数据获取时间，对待回溯流数据的回溯时间进行匹配；根据匹配结果确定所述待回溯流数据的目标偏移量信息；2CN115509865A权利要求书2/2页根据所述目标偏移量信息确定所述待回溯流数据。7.根据权利要求6所述的方法，其特征在于，根据所述目标偏移量信息确定所述待回溯流数据，包括：若所述目标偏移量信息为更新偏移量信息，根据所述目标偏移量信息确定目标增量数据文件，根据所述目标增量数据文件确定待回溯流数据；若所述目标偏移量信息为未更新偏移量信息，根据所述目标偏移量信息从消息队列中确定目标流数据，根据所述目标流数据确定待回溯流数据。若所述目标偏移量信息同时包括更新偏移量信息和未更新偏移量信息，根据所述目标偏移量信息中的更新偏移量信息确定目标增量数据文件，根据所述目标增量数据文件确定待回溯流数