预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共11页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113836897A(43)申请公布日2021.12.24(21)申请号202111108385.XG06F16/33(2019.01)(22)申请日2021.09.22(71)申请人北京计算机技术及应用研究所地址100854北京市海淀区永定路51号(72)发明人贾少敏余增文张东(74)专利代理机构中国兵器工业集团公司专利中心11011代理人刘瑞东(51)Int.Cl.G06F40/216(2020.01)G06F40/242(2020.01)G06F40/289(2020.01)G06F40/194(2020.01)G06F16/36(2019.01)G06F16/338(2019.01)权利要求书2页说明书7页附图1页(54)发明名称一种多源异构数据字典对齐的方法(57)摘要本发明涉及一种多源异构数据字典对齐的方法,属于大数据领域。本发明包括选择源数据库,选择源表,选择作为标准的源字段;选择目标数据库,选择目标表,选择需要对齐的目标字段;选择源表中的数据值;直接选择目数据表中的数据值或者通过算法智能筛选出目标表中的数据值,算法包括但不限于:余弦相似度匹配、编辑距离匹配、经纬度距离匹配、分类编码匹配、时间日期匹配;如果需要将目标表中的数据值扩充到源表中,开启扩充,将该数据值扩充到源表中;匹配成功查看匹配结果。本发明操作简单,匹配的结果也是一目了然,数据字典对齐后也让具体数据值的展现为统一的数据值。CN113836897ACN113836897A权利要求书1/2页1.一种多源异构数据字典对齐的方法,其特征在于,该方法包括如下步骤:S1、选择源数据库,选择源表,选择作为标准的源字段;S2、选择目标数据库,选择目标表,选择需要对齐的目标字段;S3、选择源表中源字段的数据值;S4、直接选择目标表中目标字段的数据值或者通过算法筛选出目标表中目标字段的数据值;S5、如果需要将目标表中目标字段的数据值扩充到源表中,开启扩充,将目标表中目标字段的数据值扩充到源表中;S6、匹配成功查看匹配结果。2.如权利要求1所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S1具体包括:选择作为字典表的源数据库并选择该库中的表,选择该表中的具体的字段。3.如权利要求1所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S2具体包括:选择需要对齐的目标数据库,选择该库中的表,选择该表中的具体的字段。4.如权利要求1‑3任一项所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S3具体包括:依次选择源表中的源字段的某条数据值。5.如权利要求4所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S4具体包括:直接选择目标表中目标字段的数据值,或者在无法直接选择时,设置阈值,然后通过几种算法算出源字段的数据值和目标字段的数据值的相似度,筛选出符合阈值的目标表中目标字段的数据值,算法包括但不限于余弦相似度匹配、编辑距离匹配、经纬度距离匹配、分类编码匹配和时间日期匹配。6.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,所述余弦相似度匹配算法具体包括如下步骤:第一步,将源字段、目标字段进行分词;第二步,列出源字段、目标字段中出现的所有词;第三步,对于第二步的所有词,统计在源字段、目标字段中出现的词频;第四步,根据词频写出源字段、目标字段的词频向量;第五步,计算两个词频向量的夹角的余弦值来度量它们之间的相似性;第六步,判断余弦值是否大于阈值,如果大于阈值,那么认为源字段的值和目标字段的值是相似的,该目标字段的值被筛选出来了。7.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,如果源字段和目标字段为坐标值,采用经纬度距离匹配,分别计算源字段与目标字段的经度相差绝对值,源字段与目标字段的的纬度相差绝对值,筛选出与源字段的坐标值相差在设定误差范围内的目标字段的坐标值。8.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,所述分类编码匹配算法包括:用源字段和目标字段的字符串中较短的那个字符串,经过分词后在较长字符串中查找,按照匹配相等的字符数量除以较长字符串的长度,得到百分比,百分比越大越匹配度越高。9.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,如果源字段和目标字段为时间值,采用时间日期匹配,将源字段和目标字段时间值转换为时间戳,计算两个时2CN113836897A权利要求书2/2页间戳的绝对差值,如果绝对差值小于阈值,则目标字段的值被筛选出来了。10.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S5具体包括:通过开启扩充的方式,将目标表中的字段值去除相同数据值后,扩充到源表中。3CN113836897A说明书1/7页一种多源