数据汇总方法、查询方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109271358A(43)申请公布日2019.01.25(21)申请号201811359059.4(22)申请日2018.11.15(71)申请人深圳乐信软件技术有限公司地址518000广东省深圳市南山区粤海街道科苑南路3099号中国储能大厦第24层(72)发明人林伟平王雨春熊志坤张路(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06F16/18(2019.01)G06F16/25(2019.01)G06F9/54(2006.01)权利要求书1页说明书7页附图3页(54)发明名称数据汇总方法、查询方法、装置、设备及存储介质(57)摘要本发明实施例公开了一种数据汇总方法、查询方法、装置、设备及存储介质。该方法包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。本发明实施例提供的数据汇总方法，在检测到产生数据日志时，就将数据日志对应的数据写入消息队列中，可以提高数据汇总的及时性，对设定数量的数据分布式的汇总至明文库和密文库，可以避免由于单机汇总而造成的效率低下，从而提高数据汇总的效率。CN109271358ACN109271358A权利要求书1/1页1.一种数据汇总方法，其特征在于，包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。2.根据权利要求1所述的方法，其特征在于，将所述数据写入与数据主题对应的消息队列中，包括：获取所述数据对应的分库分表的主题信息；根据所述主题信息，将所述数据写入对应的消息队列中。3.根据权利要求1所述的方法，其特征在于，从所述消息队列中读取设定数量的数据，包括：若读取设定数量的数据失败，则重新从所述消息队列中读取所述设定数量的数据。4.根据权利要求1所述的方法，其特征在于，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中，包括：获取设定规则中规定的所需加密处理的字段；对包括所述字段的数据进行加密；对加密处理后的所述设定数量的数据分布式的汇总至密文数据库。5.根据权利要求1所述的方法，其特征在于，所述消息队列为Kafka消息队列，所述明文数据库和密文数据库均为hive数据库。6.一种数据查询方法，其特征在于，包括：获取待查询数据对应的查询语句；根据所述查询语句向分布式密文库中获取多个子数据；将所述多个子数据组合去重后获得目标查询数据。7.一种数据汇总装置，其特征在于，包括：数据采集模块，用于当检测到线上产生数据日志时，采集所述数据日志对应的数据；消息队列写入模块，用于将所述数据写入与数据主题对应的消息队列中；数据读取模块，用于从所述消息队列中读取设定数量的数据；数据汇总模块，用于将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。8.一种数据查询装置，其特征在于，包括：查询语句获取模块，用于获取待查询数据对应的查询语句；子数据获取模块，用于根据所述查询语句向分布式密文库中获取多个子数据；目标查询数据获取模块，用于将所述多个子数据组合去重后获得目标查询数据。9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的数据汇总方法或权利要求6所述的数据查询方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的数据汇总方法或权利要求6所述的数据查询方法。2CN109271358A说明书1/7页数据汇总方法、查询方法、装置、设备及存储介质技术领域[0001]本发明实施例涉及数据处理技术领域，尤其涉及一种数据汇总方法、查询方法、装置、设备及存储介质。背景技术[0002]随着互联网的快速发展，互联网中时时刻刻都在产生大量的数据，为了对产生的大量数据进行有效的管理，对于这些数据进行分库分表。运营人员为了进行大数据分析，如需要统计各种各样的指标、趋势等，需要将分库分表中的数据汇总到单库单表中，以方便对数据进行分析，从而解决运营分析问题。[0003]现有技术中，采用脚本的方式将分库分表的数据汇总至单库单表中，这种方式不能及时的将线上产生的数据进行汇总，延时高，而且采用脚本的方式调用数据，容错性差