面向多源异构的数据融合方法、系统、装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110750588A(43)申请公布日2020.02.04(21)申请号201911039444.5(22)申请日2019.10.29(71)申请人珠海格力电器股份有限公司地址519000广东省珠海市前山金鸡西路申请人珠海联云科技有限公司(72)发明人寇茜茜李润静胡松青龙富永张红燕(74)专利代理机构北京聿宏知识产权代理有限公司11372代理人吴大建张杰(51)Int.Cl.G06F16/25(2019.01)G06F16/215(2019.01)G06K9/62(2006.01)权利要求书2页说明书8页附图4页(54)发明名称面向多源异构的数据融合方法、系统、装置及存储介质(57)摘要本发明提供一种面向多源异构的数据融合方法、系统、装置及存储介质，所述方法包括：采集待融合的业务系统的源数据；对所述待融合的业务系统的源数据提取关键业务字段，构成所述待融合的业务系统的数据集；利用已有的决策树模型对所述待融合的业务系统的数据集的数据进行数据融合识别，关联出异构的业务系统中与所述待融合的业务系统的数据集的数据相似度最高的数据，得到融合数据集。本发明避免了由于业务系统的维护人员操作不规范、业务系统开发过程中未考虑到与其他业务系统间的关联性、历史数据遗留问题等导致的关联关系不明确，导致业务系统的数据分析无法自动匹配融合的问题。CN110750588ACN110750588A权利要求书1/2页1.一种面向多源异构的数据融合方法，其特征在于，包括：采集待融合的业务系统的源数据；对所述待融合的业务系统的源数据提取关键业务字段，构成所述待融合的业务系统的数据集；利用已有的决策树模型对所述待融合的业务系统的数据集的数据进行数据融合识别，关联出异构的业务系统中与所述待融合的业务系统的数据集的数据相似度最高的数据，得到融合数据集；其中，已有的决策树模型是利用历史融合数据集训练得到的。2.根据权利要求1所述的面向多源异构的数据融合方法，其特征在于，所述业务系统是ERP、MES、电商系统、售后安装系统或安装结算系统。3.根据权利要求1所述的面向多源异构的数据融合方法，其特征在于，在对所述待融合的业务系统的源数据提取关键业务字段，构成所述待融合的业务系统的数据集之前，所述方法还包括：利用预设的数据清洗规则清洗待融合的业务系统的源数据。4.根据权利要求1所述的面向多源异构的数据融合方法，其特征在于，所述已有的决策树模型的构建方法包括：采集第一业务系统的源数据和第二业务系统的源数据；对第一业务系统的源数据和第二业务系统的源数据提取关键业务字段，分别构成第一业务系统的数据集和第二业务系统的数据集；将第一业务系统的数据集和第二业务系统的数据集中的每一行数据转化为字符串形式；针对第一业务系统的数据集中的每一行数据，计算其与第二业务系统的数据集中的各行数据的相似度；将相似度最高的数据组合作为最佳组合，各最佳组合构成第一业务系统与第二业务系统的融合数据集；利用第一业务系统与第二业务系统的融合数据集中每一最佳组合训练决策树模型，该模型用于描述第一业务系统与第二业务系统的融合数据集中各最佳组合的两行数据之间的关联关系。5.根据权利要求4所述的面向多源异构的数据融合方法，其特征在于，所述针对第一业务系统的数据集中的每一行字符串，采用编辑距离算法计算其与第二业务系统的数据集中的各行字符串的相似度。6.根据权利要求1所述的面向多源异构的数据融合方法，其特征在于，所述方法，还包括：计算所述待融合的业务系统与异构的业务系统的匹配度，所述匹配度为融合数据集中各组数据的相似度的平均数；若所述待融合的业务系统与异构的业务系统的匹配度低于预设阈值，则利用融合数据集中数据的人工修正结果，更新融合数据集。7.一种面向多源异构的数据融合系统，其特征在于，包括：采集模块，用于采集待融合的业务系统的源数据；2CN110750588A权利要求书2/2页提取模块，用于对所述待融合的业务系统的源数据提取关键业务字段，构成所述待融合的业务系统的数据集；数据融合模块，用于利用已有的决策树模型对所述待融合的业务系统的数据集的数据进行数据融合识别，关联出异构的业务系统中与所述待融合的业务系统的数据集的数据相似度最高的数据，得到融合数据集；其中，已有的决策树模型是利用历史融合数据集训练得到的。8.根据权利要求7所述的面向多源异构的数据融合系统，其特征在于，所述系统还包括：清洗模块，用于利用预设的数据清洗规则清洗待融合的业务系统的源数据。9.一种处理装置，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-6中任一项所述方法的步骤。10.一种存储介质，其特征在于