基于机器学习算法的异构数据映射方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114185879A(43)申请公布日2022.03.15(21)申请号202111354873.9(22)申请日2021.11.16(71)申请人中国银行保险信息技术管理有限公司地址100043北京市石景山区实兴大街30号1号楼(72)发明人高志扬(74)专利代理机构北京中强智尚知识产权代理有限公司11448代理人刘敏(51)Int.Cl.G06F16/215(2019.01)G06F16/22(2019.01)G06F16/25(2019.01)G06N20/00(2019.01)权利要求书2页说明书9页附图4页(54)发明名称基于机器学习算法的异构数据映射方法、装置及设备(57)摘要本申请公开了一种基于机器学习算法的异构数据映射方法、装置及设备，涉及计算机技术领域，可解决异构数据映射效率低且准确性不高的技术问题。包括：接收异构数据映射请求，异构数据映射请求中携带有原数据表结构、原数据表结构的随机采样数据，以及待映射的目标数据表结构；根据原数据表结构对随机采样数据进行特征处理，得到原数据特征，特征处理包括数据清洗、数据筛选、数据残差填补和特征工程中的至少一种；将原数据表结构、原数据特征以及目标数据表结构输入预训练完成的异构数据映射模型，获取预测映射结果；根据预测映射结果确定随机采样数据由原数据表结构映射至目标数据表结构后的目标数据内容。本申请适用于对异构数据的自动化映射。CN114185879ACN114185879A权利要求书1/2页1.一种基于机器学习算法的异构数据映射方法，其特征在于，包括：接收异构数据映射请求，所述异构数据映射请求中携带有原数据表结构、所述原数据表结构的随机采样数据，以及待映射的目标数据表结构；根据所述原数据表结构对所述随机采样数据进行特征处理，得到原数据特征，所述特征处理包括数据清洗、数据筛选、数据残差填补和特征工程中的至少一种；将所述原数据表结构、所述原数据特征以及所述目标数据表结构输入预训练完成的异构数据映射模型，获取预测映射结果；根据所述预测映射结果确定所述随机采样数据由所述原数据表结构映射至所述目标数据表结构后的目标数据内容。2.根据权利要求1所述的方法，其特征在于，根据所述原数据表结构对所述随机采样数据进行特征处理，得到原数据特征，包括：若根据所述原数据表结构判定所述随机采样数据为结构化或非结构化长文本数据，则获取与所述原数据表结构匹配的数据转化格式以及对应的特征向量空间维度；依据所述数据转化格式将所述随机采样数据转化为与所述特征向量空间维度匹配的向量特征矩阵。3.根据权利要求1所述的方法，其特征在于，所述异构数据映射模型包括用于表匹配的第一异构数据映射模型和用于字段匹配的第二异构数据映射模型；所述在将所述原数据表结构、所述原数据特征以及所述目标数据表结构输入预训练完成的异构数据映射模型，获取预测映射结果之前，还包括：基于历史异构数据映射结果构建训练集，并利用所述训练集分别训练所述第一异构数据映射模型和所述第二异构数据映射模型，以使所述第一异构数据映射模型和所述第二异构数据映射模型满足预设训练标准，判定预训练完成。4.根据权利要求3所述的方法，其特征在于，所述将所述原数据表结构、所述原数据特征以及所述目标数据表结构输入预训练完成的异构数据映射模型，获取预测映射结果，包括：将所述原数据表结构、所述原数据特征以及所述目标数据表结构输入预训练完成的第一异构数据映射模型，获取关于目标表的第一预测映射结果；将所述原数据表结构、所述原数据特征以及所述目标数据表结构输入所述预训练完成的第二异构数据映射模型，获取所述目标表内目标字段的第二预测映射结果。5.根据权利要求4所述的方法，其特征在于，所述根据所述预测映射结果确定所述随机采样数据由所述原数据表结构映射至所述目标数据表结构后的目标数据内容，包括：按照置信度由高到低的顺序在所述第一预测映射结果中筛选出预设数量个与所述目标数据表结构匹配的预测映射表；按照置信度由高到低的顺序在所述第二预测映射结果中筛选出预设数量个预测映射字段；输出所述预测映射表下的所述预测映射字段，以便人工根据所述预测映射表下的所述预测映射字段确定所述目标数据表结构下的目标数据内容。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述原数据表结构下的所述随机采样数据以及所述目标数据表结构下的所述目2CN114185879A权利要求书2/2页标数据内容，生成异构数据映射表，以便基于所述异构数据映射表筛选与所述原数据表结构、所述随机采样数据以及所述目标数据表结构匹配的目标数据内容。7.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述原数据表结构下的所述随机采样数据以及所述目标数据表结构