联接表的方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114443659A(43)申请公布日2022.05.06(21)申请号202210091434.1(22)申请日2022.01.26(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人魏秀利郑瑞峰王文生(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204专利代理师王达佐马晓亚(51)Int.Cl.G06F16/22(2019.01)G06F16/27(2019.01)G06F16/28(2019.01)权利要求书2页说明书12页附图8页(54)发明名称联接表的方法和装置(57)摘要本公开的实施例公开了联接表的方法和装置。该方法的具体实施方式包括：获取待联接的第一表和第二表，其中，所述第一表的数据量小于所述第二表的数据量；若所述第一表不可以广播，则计算所述第一表的行数与所述第二表的行数的比值；若所述比值小于等于预定阈值，则根据所述第一表的关联键构建实时布隆过滤器，并将所述实时布隆过滤器作为过滤算子插入到所述第二表的过滤条件中；从所述第二表中过滤掉不符合所述过滤条件的数据，得到过滤表；将所述第一表和所述过滤表分别进行洗牌、排序后联接起来。该实施方式提高了联接表的任务的时效，节省了计算资源，同时减少了集群负载。CN114443659ACN114443659A权利要求书1/2页1.一种联接表的方法，包括：获取待联接的第一表和第二表，其中，所述第一表的数据量小于所述第二表的数据量；若所述第一表不可以广播，则计算所述第一表的行数与所述第二表的行数的比值；若所述比值小于等于预定阈值，则根据所述第一表的关联键构建实时布隆过滤器，并将所述实时布隆过滤器作为过滤算子插入到所述第二表的过滤条件中；从所述第二表中过滤掉不符合所述过滤条件的数据，得到过滤表；将所述第一表和所述过滤表分别进行洗牌、排序后联接起来。2.根据权利要求1所述的方法，其中，所述方法还包括：若检测到未进行过滤优化，则在每个分片上根据所述第一表的关联键构建洗牌布隆过滤器，并将所述洗牌布隆过滤器作为过滤算子插入读取到的所述第二表的洗牌数据的后面；对第二表的洗牌数据进行过滤，得到每个分片的分片过滤表；对于每个分片，分别将该分片上所述第一表的洗牌数据和分片过滤表排序后联接起来。3.根据权利要求2所述的方法，其中，所述方法还包括：自定义实时布隆过滤器和洗牌布隆过滤器的过滤算子以支持代码生成器。4.根据权利要求1所述的方法，其中，所述根据所述第一表的关联键构建实时布隆过滤器，包括：若存在至少两个关联键，则对所述至少两个关联键进行哈希处理，得到一个散列值，根据所述散列值构建实时布隆过滤器。5.根据权利要求1所述的方法，其中，所述方法还包括：若在预定时间内未构建实时布隆过滤器，则对所述第一表和所述第二表进行内或左联接。6.根据权利要求1所述的方法，其中，所述方法还包括：若获取到待联接的第三表且关联键相同，则将所述实时布隆过滤器作为过滤算子插入到所述第三表的过滤条件中；从所述第三表中过滤掉不符合所述过滤条件的数据，得到下推过滤表；将所述下推过滤表进行洗牌、排序后与所述第一表和所述过滤表的联接结果联接起来。7.根据权利要求6所述的方法，其中，所述方法还包括：若检测到未生成下推过滤表，则将每个分片上的洗牌布隆过滤器作为过滤算子插入读取到的所述第三表的洗牌数据的后面，对第三表的洗牌数据进行过滤，得到每个分片的下推分片过滤表；对于每个分片，分别将该分片上所述第一表和所述过滤表的联接结果和下推分片过滤表排序后联接起来。8.一种联接表的装置，包括：获取单元，被配置成获取待联接的第一表和第二表，其中，所述第一表的数据量小于所述第二表的数据量；计算单元，被配置成若所述第一表不可以广播，则计算所述第一表的行数与所述第二2CN114443659A权利要求书2/2页表的行数的比值；构建单元，被配置成若所述比值小于等于预定阈值，则根据所述第一表的关联键构建实时布隆过滤器，并将所述实时布隆过滤器作为过滤算子插入到所述第二表的过滤条件中；过滤单元，被配置成从所述第二表中过滤掉不符合所述过滤条件的数据，得到过滤表；联接单元，被配置成将所述第一表和所述过滤表分别进行洗牌、排序后联接起来。9.一种联接表的电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1‑7中任一项所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1‑7中任一项所述的方法。3CN114443659A说