数据存储方法、装置、计算机设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115757398A(43)申请公布日2023.03.07(21)申请号202211349885.7G06F16/27(2019.01)(22)申请日2022.10.31(71)申请人国汽智图（北京）科技有限公司地址102600北京市大兴区亦庄经济开发区荣华南路13号院7号楼2层国汽智图(72)发明人王利歌同一凡陈清友熊丽音冯昶乔扬王屯刘卫华(74)专利代理机构北京华进京联知识产权代理有限公司11606专利代理师安孔川(51)Int.Cl.G06F16/22(2019.01)G06F16/2455(2019.01)G06F16/2457(2019.01)G06F16/2458(2019.01)权利要求书2页说明书11页附图5页(54)发明名称数据存储方法、装置、计算机设备和存储介质(57)摘要本申请涉及一种数据存储方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：从分布式消息系统中读取流数据；其中，流数据为由多条数据构成的数据序列；将流数据中的每条数据存储至缓存中；判断缓存中存储的数据的条数是否达到预设条数，若是，则将缓存中存储的数据作为批数据发送至阻塞队列中；通过多线程从阻塞队列中消费批数据中的数据；采用异步调用方式，将多线程中的数据存储至时序数据库中。由此可见，本方法采用数据缓存、阻塞队列、多线程和异步调用等技术手段间的相互配合，实现了将分布式消息系统中的流数据存储至时序数据库的目的。CN115757398ACN115757398A权利要求书1/2页1.一种数据存储方法，其特征在于，所述方法包括：从分布式消息系统中读取流数据；其中，所述流数据为由多条数据构成的数据序列；将所述流数据中的每条数据存储至缓存中；判断所述缓存中存储的数据的条数是否达到预设条数，若是，则将所述缓存中存储的数据作为批数据发送至阻塞队列中；通过多线程从所述阻塞队列中消费所述批数据中的数据；采用异步调用方式，将所述多线程中的数据存储至时序数据库中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过回调函数监听所述多线程返回的异步回调结果；其中，所述异步回调结果用于表征所述批数据是否成功存储至所述时序数据库中；若所述异步回调结果为表示成功存储的异步回调结果，则对所述异步回调结果添加存储成功标识，并将待存储的批数据的批数减一；其中，所述存储成功标识用于表征所述批数据已成功存储至所述时序数据库中；所述待存储的批数据的批数是根据所述流数据中包含的所有数据的总条数和所述预设条数确定的。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述异步回调结果为表示失败存储的异步回调结果，则将所述批数据重新发送至所述阻塞队列中。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：若所述批数据存储失败的次数达到预设次数，则对所述异步回调结果添加存储失败标识；其中，所述存储失败标识用于表征所述批数据未存储至所述时序数据库中。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：以预设时间间隔查询回调结果列表和所述待存储的批数据的批数；其中，所述回调结果列表用于记录所述异步回调结果；若所述回调结果列表中未记录有所述异步回调结果且所述批数为零，则将所述流数据中最后一条数据对应的位移量存储至所述时序数据库中；若所述回调结果列表中记录有添加存储失败标识的异步回调结果，则输出数据修复通知消息，以指示对所述添加存储失败标识的异步回调结果对应的批数据进行修复。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在接收到表示数据修复完成的消息后，从所述分布式消息系统中重新读取所述流数据，并执行将所述流数据中的每条数据存储至缓存中的步骤。7.一种数据存储装置，其特征在于，所述装置包括：数据读取模块，用于从分布式消息系统中读取流数据；其中，所述流数据为由多条数据构成的数据序列；数据缓存模块，用于将所述流数据中的每条数据存储至缓存中；数据发送模块，用于判断所述缓存中存储的数据的条数是否达到预设条数，若是，则将所述缓存中存储的数据作为批数据发送至阻塞队列中；数据消费模块，用于通过多线程从所述阻塞队列中消费所述批数据中的数据；数据存储模块，用于采用异步调用方式，将所述多线程中的数据存储至时序数据库中。8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在2CN115757398A权利要求书2/2页于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序