模型训练方法、信息生成方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114693994A(43)申请公布日2022.07.01(21)申请号202210320106.4G06F16/35(2019.01)(22)申请日2022.03.29G06F16/958(2019.01)G06N3/04(2006.01)(71)申请人北京沃东天骏信息技术有限公司G06N3/08(2006.01)地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人孔滕滕王元元(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204专利代理师王达佐马晓亚(51)Int.Cl.G06V10/774(2022.01)G06K9/62(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书3页说明书16页附图4页(54)发明名称模型训练方法、信息生成方法和装置(57)摘要本公开的实施例提供了一种模型训练方法、信息生成方法和装置。所述的模型训练方法包括：首先获取训练样本集，该训练样本集包括样本物品对应的样本图像、样本物品的类目信息和属性信息，以及属性信息对应的属性值，然后构建包括多头注意力层和残差连接层的统一预训练语言模型，最后利用机器学习方法，将样本物品的类目信息和属性信息作为多头注意力层的输入，样本物品对应的样本图像作为残差连接层的输入，属性信息对应的属性值作为期望输出，对统一预训练语言模型进行训练，得到属性预测模型，利用样本物品对应的样本图像、样本物品的类目信息和属性信息训练属性预测模型，提高了属性信息的属性值的生成效率和准确性。CN114693994ACN114693994A权利要求书1/3页1.一种模型训练方法，所述方法包括：获取训练样本集，其中，所述训练样本集包括样本物品对应的样本图像、所述样本物品的类目信息和属性信息，以及所述属性信息对应的属性值；构建包括多头注意力层和残差连接层的统一预训练语言模型；利用机器学习方法，将所述样本物品的类目信息和属性信息作为所述多头注意力层的输入，所述样本物品对应的样本图像作为所述残差连接层的输入，所述属性信息对应的属性值作为期望输出，对所述统一预训练语言模型进行训练，得到属性预测模型。2.根据权利要求1所述的方法，其中，所述获取训练样本集，包括：获取多个样本物品对应的样本图像、每个样本物品的类目信息、每个样本物品的多个初始属性信息和每个初始属性信息对应的初始属性值；对每个样本物品的多个初始属性信息和每个初始属性信息对应的初始属性值进行预处理操作，得到处理后的属性信息和处理后的属性值；将多个样本物品对应的样本图像、每个样本物品的类目信息、每个样本物品对应的处理后的属性信息和处理后的属性值组成所述训练样本集。3.根据权利要求2所述的方法，其中，所述预处理操作包括以下至少一种：对每个初始属性信息对应的初始属性值进行信息归并，得到归并后的属性值；对每个样本物品的多个初始属性信息进行信息过滤，得到过滤后的属性信息；对每个初始属性信息对应的初始属性值进行信息增强，得到增强后的属性值；对每个初始属性信息对应的初始属性值进行信息校准，得到校准后的属性值。4.根据权利要求3所述的方法，其中，所述对每个初始属性信息对应的初始属性值进行信息归并，得到归并后的属性值，包括：基于语义模型，获取多个初始属性值对应的属性向量集合；对所述属性向量集合进行聚类，确定归并后的属性值。5.根据权利要求3所述的方法，其中，所述对每个样本物品的多个初始属性信息进行信息过滤，得到过滤后的属性信息，包括：针对每个样本物品，将所述样本物品的样本图像、类目信息和初始属性信息输入至统一预训练语言模型，得到所述初始属性信息的预测属性值；获取所述预测属性值的预测准确率；删除所述预测准确率小于预设阈值对应的初始属性信息，得到过滤后的属性信息。6.根据权利要求3所述的方法，其中，所述对每个初始属性信息对应的初始属性值进行信息校准，得到校准后的属性值，包括：针对每个初始属性信息对应的初始属性值，基于所述样本物品对应的相似物品和属性值投票方法进行信息校准，得到校准后的属性值；和/或针对每个初始属性信息对应的初始属性值，基于用户历史数据对应的物品属性值进行信息校准，得到校准后的属性值。7.根据权利要求1所述的方法，其中，所述属性预测模型包括用于执行分类任务的属性分类模型和/或用于执行生成任务的属性生成模型。8.一种信息生成方法，所述方法包括：获取目标物品对应的目标图像、所述目标物品的类目信息和属性信息；2CN114693994A权利要求书2/3页将所述目标图像、所述目标物品的类目信息和属性信息输入至属性预测模型，得到所述属性信息的属性值，其中，所述属性预测模型基