数据写入、查询方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760837A(43)申请公布日2021.12.07(21)申请号202011165418.X(22)申请日2020.10.27(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人董朝辉(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张效荣冯培培(51)Int.Cl.G06F16/172(2019.01)G06F16/182(2019.01)G06F16/14(2019.01)G06F16/13(2019.01)权利要求书2页说明书12页附图4页(54)发明名称数据写入、查询方法和装置(57)摘要本发明公开了一种数据写入、查询方法和装置，涉及计算机技术领域。其中，数据写入方法包括：获取待写入数据文件以及待写入数据文件的行数信息；根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器；基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算；根据所述哈希运算的结果将所述待写入数据文件写入所述分布式缓存系统。通过以上步骤，能够提高数据写入速度，降低数据写入对系统性能的影响，提高用户体验。CN113760837ACN113760837A权利要求书1/2页1.一种数据写入方法，其特征在于，所述方法包括：获取待写入数据文件以及待写入数据文件的行数信息；根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器；基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算；根据所述哈希运算的结果将所述待写入数据文件写入所述分布式缓存系统。2.根据权利要求1所述的方法，其特征在于，所述获取待写入数据文件以及待写入数据文件的行数信息包括：根据所述待写入数据文件的文件标识获取待写入数据文件的信息；其中，所述待写入文件的信息包括：待写入数据文件的存储地址信息、以及待写入数据文件的行数信息；根据所述待写入数据文件的存储地址信息将所述待写入数据文件下载至本地。3.根据权利要求1所述的方法，其特征在于，所述根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器包括：计算预设数值与所述分布式缓存系统的分片数量的比值，根据所述比值确定多个行数取值区间；根据所述待写入数据文件的行数信息确定其所处的行数取值区间，并将与其所处的行数取值区间对应的误判率作为所述布隆过滤器的误判率。4.根据权利要求1所述的方法，其特征在于，所述基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算包括：确定所述待写入数据文件中的数据项对应的分片标识；根据所述数据项对应的分片标识和所述待写入数据文件的文件标识生成所述数据项对应的键；对所述数据项对应的键进行哈希运算。5.根据权利要求4所述的方法，其特征在于，所述确定所述待写入数据文件中的数据项对应的分片标识包括：遍历所述待写入数据文件，以得到所述待写入数据文件中各个数据项的标识；根据所述数据项的标识、所述分布式缓存系统的分片数量、以及所述待写入数据文件的文件标识确定所述数据项对应的分片标识。6.一种数据查询方法，其特征在于，所述方法包括：确定待检测数据项对应的分片标识，根据所述分片标识和目标数据文件的标识获取布隆过滤器；根据所述布隆过滤器对所述待检测数据项进行哈希运算；根据所述哈希运算的结果查询分布式缓存系统，以根据查询结果判断所述待检测数据项是否位于所述目标数据文件中。7.根据权利要求6所述的方法，其特征在于，所述确定待检测数据项对应的分片标识包括：根据所述待检测数据项的标识、所述分布式缓存系统的分片数量、以及所述目标数据文件的标识确定所述待检测数据项对应的分片标识。8.根据权利要求6所述的方法，其特征在于，所述根据所述分片标识和所述目标数据文件的标识获取布隆过滤器包括：根据所述分片标识和所述目标数据文件的标识从本地缓存中获取布隆过滤器；若从本2CN113760837A权利要求书2/2页地缓存中获取不到布隆过滤器，则根据所述分片标识和所述目标数据文件的标识从分布式缓存系统中获取布隆过滤器，并将所述布隆过滤器写入本地缓存。9.一种数据写入装置，其特征在于，所述装置包括：获取模块，用于获取待写入数据文件以及待写入数据文件的行数信息；生成模块，用于根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器；哈希运算模块，用于基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算；写入模块，用于根据所述哈希运算的结果将所述待写入数据文件写入所述分布式缓存系统。10.一种数据查询装置，其特征在于，所述装置包括：获取模块，用于确定待检测数