数据处理方法、装置、存储介质和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114265853A(43)申请公布日2022.04.01(21)申请号202111616963.0(22)申请日2021.12.27(71)申请人北京金堤科技有限公司地址100098北京市海淀区知春路65号院1号楼B座20层2001号(72)发明人杨锐(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447代理人卢夏子(51)Int.Cl.G06F16/23(2019.01)G06F16/2457(2019.01)G06F9/54(2006.01)G06F11/30(2006.01)权利要求书2页说明书10页附图5页(54)发明名称数据处理方法、装置、存储介质和电子设备(57)摘要本发明涉及一种数据处理方法、装置、存储介质和电子设备，涉及电子信息技术领域，该方法包括：监听目标数据库，并将目标数据库中发生更新的数据放入预设的窗口队列，响应于窗口队列满足滚动时间窗口预设条件，对窗口队列中的数据进行处理得目标数据。将得到的目标数据写入指定的数据存储区，其中，对窗口队列中的数据进行处理得到目标数据具体包括：确定窗口队列中标识信息相同的数据，提取出标识信息相同的数据中符合预设条件的数据作为目标数据；确定窗口队列中标识信息唯一的数据，将其作为目标数据。本发明能够降低数据库的查询压力，节省网络带宽的消耗。CN114265853ACN114265853A权利要求书1/2页1.一种数据处理方法，其特征在于，所述方法包括：监听目标数据库，并将所述目标数据库中发生更新的数据放入预设的窗口队列；响应于所述窗口队列满足滚动时间窗口预设条件，对所述窗口队列中的数据进行处理得到目标数据；将得到的所述目标数据写入指定的数据存储区；所述对所述窗口队列中的数据进行处理得到目标数据具体包括：确定所述窗口队列中标识信息相同的数据，提取出所述标识信息相同的数据中符合预设条件的数据作为目标数据；确定所述窗口队列中标识信息唯一的数据，将其作为目标数据。2.根据权利要求1所述的方法，其特征在于，所述监听目标数据库，并将所述目标数据库中发生更新的数据放入预设的窗口队列，包括：将监听工具作为所述目标数据库的从实例，以监听所述目标数据库；通过所述监听工具获取所述目标数据库中发生更新的数据，并将所述发生更新的数据发送至消息队列；通过数据流处理工具从所述消息队列中获取所述发生更新的数据，并将所述发生更新的数据放入所述窗口队列。3.根据权利要求1所述的方法，其特征在于，所述确定所述窗口队列中标识信息相同的数据具体包括：获取所述窗口队列中所有数据的键值；根据所述键值确定所述窗口队列中标识信息相同的数据。4.根据权利要求1所述的方法，其特征在于，提取出所述标识信息相同的数据中符合预设条件的数据作为目标数据，具体包括：获取所述标识信息相同的数据中各个数据的更新时间；根据所述各个数据的更新时间，确定更新时间最新的数据作为目标数据。5.根据权利要求1所述的方法，其特征在于，所述确定所述窗口队列中标识信息唯一的数据具体包括：获取所述窗口队列中所有数据的键值；根据所述所有数据的键值确定所述窗口队列中键值唯一的数据。6.根据权利要求1所述的方法，其特征在于，所述确定所述窗口队列中标识信息相同的数据具体包括：获取所述窗口队列中所有数据的键值；依次将所述窗口队列中的数据作为当前数据；将所述当前数据的键值与所述窗口队列中除所述当前数据之外的其他数据的键值进行比较；确定所述其他数据中与所述当前数据的键值相同的数据。7.根据权利要求1所述的方法，其特征在于，所述滚动时间窗口预设条件包括：所述窗口队列中的数据的数量超出所述窗口队列的大小；或者，所述窗口队列的时长超过所述窗口队列的滑动时间。8.一种数据处理装置，其特征在于，所述装置包括：2CN114265853A权利要求书2/2页监听模块，用于监听目标数据库，并将所述目标数据库中发生更新的目标数据放入预设的窗口队列；处理模块，用于响应于所述窗口队列满足滚动时间窗口预设条件，对所述窗口队列中的数据进行处理得到目标数据；存储模块，用于将得到的所述目标数据写入指定的数据存储区；所述处理模块用于：确定所述窗口队列中标识信息相同的数据，提取出所述标识信息相同的数据中符合预设条件的数据作为目标数据；确定所述窗口队列中标识信息唯一的数据，将其作为目标数据。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1‑7中任一项所述数据处理方法。10.一种电子设备，其特征在于，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1‑7中任一项所述数据处理方法。3CN114265853A说明书1/10页数据处