基于模式匹配和实体匹配的数据融合方法、装置、系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108960292A(43)申请公布日2018.12.07(21)申请号201810594208.9(22)申请日2018.06.11(71)申请人苏州大学地址215137江苏省苏州市相城区济学路8号(72)发明人李直旭顾斌斌(74)专利代理机构北京集佳知识产权代理有限公司11227代理人罗满(51)Int.Cl.G06K9/62(2006.01)权利要求书3页说明书14页附图4页(54)发明名称基于模式匹配和实体匹配的数据融合方法、装置、系统(57)摘要本发明公开了一种基于模式匹配和实体匹配的数据融合方法，通过利用给定的初始连接的记录对进行实体匹配，然后再利用当前实体匹配的结果进行模式匹配，然后再根据模式匹配的结果进行实体匹配，以此类推，每一轮匹配均以上一轮的匹配结果作为输入数据，在前一轮的成功匹配的记录对的基础上再次进行匹配，可以使我们能够修正前一轮中可能的错误匹配或没有找到记录组，不断地去修正模式匹配的结果。直到模式和实体匹配的结果都趋于稳定。该方法可以提高数据融合的准确率，提升数据价值。本发明还公开了一种基于模式匹配和实体匹配的数据融合装置、系统及一种可读存储介质，具有上述有益效果。CN108960292ACN108960292A权利要求书1/3页1.一种基于模式匹配和实体匹配的数据融合方法，其特征在于，包括：步骤1：接收初始连接的模式匹配成功的记录对；步骤2：获取模式匹配成功的记录对作为模式匹配记录对，对所述模式匹配记录对对应的数据进行实体匹配；步骤3：判断是否存在实体匹配成功的记录对，如果存在，进入步骤4；如果没有实体匹配成功的记录对，进入步骤6；步骤4：获取实体匹配成功的记录对作为实体匹配记录对，对所述实体匹配记录对对应的数据进行模式匹配；步骤5：判断是否存在模式匹配成功的记录对，如果存在，进入步骤2；如果没有模式匹配成功的记录对，进入步骤6；步骤6：获取所有匹配成功的记录对。2.如权利要求1所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述模式匹配与所述实体匹配的记录索引方法具体为：基于q-gram的多属性交互索引。3.如权利要求2所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述基于q-gram的多属性交互索引的建立方法包括：根据所述初始连接的模式匹配成功的记录对建立动态索引；移除索引中区分度高于区分度阈值的记录对；其中，所述区分度的计算方法包括：当PosT(A)为匹配成功的记录对中在记录A下的值匹配的数量，NegT(A)为匹配成功的记录对中在所述记录A下的值不匹配的数量时，区分度4.如权利要求3所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述实体匹配的方法包括：对所述模式匹配记录对对应的数据依次计算实体匹配度；筛选出所述实体匹配度高于实体匹配度阈值的记录对作为实体匹配成功的记录对；其中，所述实体匹配度的计算方法包括：当λ为阻尼系数，为所有的连接起来的属性对的总的贡献分数时，实体匹配度其中，LSM(A,B)为记录A和B匹配的可能性；ctr(t[A],s[B])为t[A]和s[B]两个值的相似度贡献值；2CN108960292A权利要求书2/3页sim(t[A],s[B])为t[A]和s[B]两个值的相似度，θ为临界点；属性A和B融合后的区分度得分5.如权利要求3所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述模式匹配的方法包括：对所述实体匹配记录对对应的数据依次计算模式匹配度；筛选出所述模式匹配度高于模式匹配度阈值的记录对作为模式匹配成功的记录对；其中，所述模式匹配度的计算方法包括：当α为控制相关记录对的贡献分数时，模式匹配度其中，ctr(t[A],s[B])为t[A]和s[B]两个值的相似度贡献值；sim(t[A],s[B])为t[A]和s[B]两个值的相似度，θ为临界点；属性A和B融合后的区分度得分6.如权利要求5所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，还包括：对获取的所述匹配成功的记录对计算不稳定度；移除所述不稳定度大于不稳定度阈值的匹配的记录对；其中，所述不稳定度的计算方法包括：当为记录对(A，B)下所有记录值的相似度的平均值，m为连接起来的记录对的数量时，不稳定程度sim(a,b)为a和b两个值的相似度。7.如权利要求1至6任一项所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述对模式匹配记录对对应的数据进行实体匹配前还包括：计算所述模式匹配记录对的误差值；移除所述误差值高于误差阈值的记录对；其中，所述误差值的计算方法包括：当S(·)是相似度函数，η为质量阈值时，记录对(A,B)的误差值8.一种基于模式匹配和实体匹配的数据融合装置，其特征在于，包括：3C