一种数据过滤方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760876A(43)申请公布日2021.12.07(21)申请号202110171688.X(22)申请日2021.02.08(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人朱大鹏(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张一军李阳(51)Int.Cl.G06F16/215(2019.01)G06F16/23(2019.01)G06F16/2455(2019.01)权利要求书2页说明书10页附图5页(54)发明名称一种数据过滤方法和装置(57)摘要本发明公开了数据过滤方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括接收数据存储请求，获取所述请求中待存储对象的唯一标识；调用第一哈希函数，根据待存储对象的唯一标识计算得到第一数组下标，进而判断所述第一数组下标对应的数组数据是否为空，若是则将待存储对象的唯一标识存入对应的第一数组中，所述请求处理完成；若否则获取所述第一数组数据中的唯一标识，判断与待存储对象的唯一标识是否相同，如果是则所述请求处理完成；如果否则调用第二哈希函数，根据待存储对象的唯一标识计算得到第二数组下标以将待存储对象的唯一标识存入对应的第二数组中。从而，本发明的实施方式能够解决现有数据过滤效率低、误判率高的问题。CN113760876ACN113760876A权利要求书1/2页1.一种数据过滤方法，其特征在于，包括：接收数据存储请求，获取所述请求中待存储对象的唯一标识；调用第一哈希函数，根据待存储对象的唯一标识计算得到第一数组下标，进而判断所述第一数组下标对应的数组数据是否为空，若是则将待存储对象的唯一标识存入对应的第一数组中，所述请求处理完成；若否则获取所述第一数组数据中的唯一标识，判断与待存储对象的唯一标识是否相同，如果是则所述请求处理完成；如果否则调用第二哈希函数，根据待存储对象的唯一标识计算得到第二数组下标以将待存储对象的唯一标识存入对应的第二数组中。2.根据权利要求1所述的方法，其特征在于，调用第二哈希函数，根据待存储对象的唯一标识计算得到第二数组下标之后，包括：判断所述第二数组下标对应的数组数据是否为空，若是则将待存储对象的唯一标识存入对应的第二数组中，所述请求处理完成；若否则获取所述第二数组数据中的唯一标识，判断与待存储对象的唯一标识是否相同，如果是则所述请求处理完成；如果否则踢出第二数组数据中的唯一标识，以将所述待存储对象的唯一标识存入所述第二数组中。3.根据权利要求2所述的方法，其特征在于，踢出第二数组数据中的唯一标识，包括：获取查询锁定标识，判断所述查询锁定标识是否为被锁定，若是则踢出第二数组数据中的唯一标识放入队列中等待重新进行存储；若否则踢出第二数组数据中的唯一标识重新进行存储。4.根据权利要求3所述的方法，其特征在于，所述踢出第二数组数据中的唯一标识之后，包括：获取踢出状态标识并自增；待踢出的唯一标识重新存储完成后，获取踢出状态标识并自减。5.根据权利要求1所述的方法，其特征在于，还包括：接收数据查询请求，获取所述请求中待查询对象的唯一标识；调用第一哈希函数，根据待存储对象的唯一标识计算得到第一数组下标，进而判断所述第一数组下标对应的数组数据是否为空；若是则将预设的空标识进行标记，调用第二哈希函数循环执行前述过程得到所述的空标识被二次标记则返回结果为未查询到；若否则获取所述第一数组数据中的唯一标识，判断与待查询对象的唯一标识是否相同，如果是则返回结果为已查询到；如果否则调用第二哈希函数循环执行前述过程仍然得到与待查询对象的唯一标识不一致，则返回结果为未查询到。6.根据权利要求5所述的方法，其特征在于，调用第二哈希函数循环执行前述过程仍然得到与待查询对象的唯一标识不一致之后，包括：获取查询锁定标识，判断所述查询锁定标识是否为未锁定；若是则判断踢出状态标识是否为0，如果是则返回结果为未查询到；如果否则变更查询锁定标识为被锁定，以及踢出状态标识设置为0，遍历队列查找踢出的唯一标识中是否存在待查询对象的唯一标识，若是则返回结果为已查询到，待所述队列中所有踢出的唯一标识出队，变更查询锁定标识为未锁定，还原踢出状态标识；若否则返回结果为未查询到，待所2CN113760876A权利要求书2/2页述队列中所有踢出的唯一标识出队，变更查询锁定标识为未锁定，还原踢出状态标识；若否则循环调用第一哈希函数以及第二哈希函数进行查询，直至得到返回结果为已查询到或查询锁定标识为未锁定且返回结果为未查询到为止。7.根据权利要求2‑6任一所述的方法，其特征在于，还包括：通过线程执行接收