模型数据处理方法、装置、电子设备以及计算机可读介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113821652A(43)申请公布日2021.12.21(21)申请号202110080903.5(22)申请日2021.01.21(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人赵楠吴友政(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06F16/45(2019.01)G06F40/284(2020.01)权利要求书3页说明书15页附图4页(54)发明名称模型数据处理方法、装置、电子设备以及计算机可读介质(57)摘要本发明公开了一种模型数据处理方法和装置，涉及人工智能技术领域。该方法的一具体实施方式包括：获取待处理数据集中至少两种不同模态的数据；对至少两种不同模态的数据进行特征提取后拼接和/或叠加，得到特征序列；对特征序列进行模型映射处理，得到与自回归模型相适配的多模态输入数据；将多模态输入数据输入自回归模型，得到自回归模型输出的单模态结果。该实施方式提高了模型输入数据的信息量的丰富度。CN113821652ACN113821652A权利要求书1/3页1.一种模型数据处理方法，所述方法包括：获取待处理数据集中至少两种不同模态的数据；对所述至少两种不同模态的数据进行特征提取后拼接和/或叠加，得到特征序列；对所述特征序列进行模型映射处理，得到与自回归模型相适配的多模态输入数据；将所述多模态输入数据输入所述自回归模型，得到所述自回归模型输出的单模态结果。2.根据权利要求1所述的方法，其中，所述至少两种不同模态的数据包括：待处理文本数据和知识图谱数据；所述对所述至少两种不同模态的数据进行特征提取后拼接和/或叠加，得到特征序列，包括：采集所述知识图谱数据对应的三元文本数据；分别对所述三元文本数据以及所述待处理文本数据进行分词处理，并对所有分词结果进行拼接，得到特征序列。3.根据权利要求2所述的方法，所述方法还包括：确定所述特征序列中拼接的所有分词结果中各个分词结果的总位置数据；所述对所述特征序列进行模型映射处理，得到与自回归模型相适配的多模态输入数据，包括：对所述特征序列进行与自回归模型相适配的向量映射，得到与所述特征序列对应的数据特征向量；对所述总位置数据进行与所述自回归模型相适配的向量映射，得到总位置向量；将所述数据特征向量与所述总位置向量相加，得到与所述自回归模型相适配的多模态输入数据。4.根据权利要求2所述的方法，所述方法还包括：对所述特征序列中拼接的所有分词结果中各个分词结果进行分类处理，得到总分类数据；所述对所述特征序列进行模型映射处理，得到与自回归模型相适配的多模态输入数据，包括：对所述特征序列进行与自回归模型相适配的向量映射，得到与所述特征序列对应的数据特征向量；对所述总分类数据进行与所述自回归模型相适配的向量映射，得到总分类向量；将所述数据特征向量以及所述总分类向量相加，得到与所述自回归模型相适配的多模态输入数据。5.根据权利要求2所述的方法，其中，所述至少两种不同模态的数据还包括：图像数据；所述对所述至少两种不同模态的数据进行特征提取后拼接和/或叠加，得到特征序列，还包括：对所述图像数据进行特征提取，得到图像特征；得到的特征序列进一步叠加有所述图像特征；所述对所述特征序列进行模型映射处理，得到与自回归模型相适配的多模态输入数据，包括：2CN113821652A权利要求书2/3页对所述特征序列中拼接的所有分词结果进行与自回归模型相适配的向量映射，得到与拼接的所有分词结果对应的数据特征向量；对所述特征序列中的图像特征进行与所述自回归模型的输入层相同维度的向量映射，得到图像特征向量；将所述数据特征向量以及所述图像特征向量相加，得到与所述自回归模型相适配的多模态输入数据。6.根据权利要求5所述的方法，所述方法还包括：确定所述特征序列中拼接的所有分词结果中各个分词结果的总位置数据；对所述特征序列中拼接的所有分词结果中各个分词结果进行分类处理，得到总分类数据；所述对所述特征序列进行模型映射处理，得到与自回归模型相适配的多模态输入数据，还包括：对所述总位置数据进行与所述自回归模型相适配的向量映射，得到总位置向量；对所述总分类数据进行与所述自回归模型相适配的向量映射，得到总分类向量；得到的与所述自回归模型相适配的多模态输入数据还包括所述总位置向量和所述总分类向量。7.根据权利要求1所述的方法，其中，所述至少两种不同模态的数据包括：待处理文本数据和图像数据；所述对所述至少两种不同模态的数据进行特征提取后拼接和/或叠加，得到特征序列，包括：对所述待处理文本数据进行分词处理，并对