模型训练方法、装置、电子设备及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114819079A(43)申请公布日2022.07.29(21)申请号202210439671.2(22)申请日2022.04.25(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人念天磊(74)专利代理机构北京市通商律师事务所11951专利代理师姜莹丽(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06N20/00(2019.01)G06K9/62(2022.01)权利要求书2页说明书7页附图3页(54)发明名称模型训练方法、装置、电子设备及可读存储介质(57)摘要本公开提供了一种模型训练方法、装置、电子设备及可读存储介质，人工智能技术领域，尤其涉及机器学习、文本生成领域。具体实现方案为：将预测样本输入待训练模型的编码端，得到预测样本的特征向量。根据特征向量和预测样本对应的真实结果，将真实结果输入解码端，得到预测结果。根据真实结果预测结果和第一损失函数，计算得到第一损失值。根据第一损失值调整待训练模型的参数。由于在计算损失值时考虑了真实结果和预测结果，而非单纯的依赖于真实结果。使得根据损失值训练得到的模型能够同时参考真实结果和预测结果，保留更加多样的预测结果，提高了模型的鲁棒性和生成结果的多样性。CN114819079ACN114819079A权利要求书1/2页1.一种模型训练方法，其特征在于，包括：将预测样本输入待训练模型的编码端，得到所述预测样本的特征向量；根据所述特征向量和所述预测样本对应的真实结果，将所述真实结果输入解码端，得到预测结果；根据所述真实结果、所述预测结果和第一损失函数，计算得到第一损失值；根据所述第一损失值调整所述待训练模型的参数。2.根据权利要求1所述的方法，其特征在于，所述第一损失函数包括第二损失函数和第三损失函数；所述根据所述真实结果所述预测结果和第一损失函数，计算得到第一损失值，包括：将所述真实结果输入所述第二损失函数，得到第二损失值；将所述预测结果输入所述第三损失函数，得到第三损失值；根据所述第二损失值、第三损失值以及所述第二损失函数的权重、所述第三损失函数的权重计算得到第一损失值。3.根据权利要求2所述的方法，其特征在于，所述根据所述第二损失值、第三损失值以及所述第二损失函数的权重、所述第三损失函数的权重计算得到第一损失值，包括：将所述第二损失值乘以所述第二损失函数的权重，得到第一损失参数；将所述第三损失值乘以所述第三损失函数的权重，得到第二损失参数；将所述第一损失参数和所述第二损失参数相加并取相反数，得到所述第一损失值。4.根据权利要求2或3所述的方法，其特征在于，每个所述预测结果对应一个概率值，所述方法还包括：当得到的所述预测结果的概率值符合预设的第一条件时，所述第三损失函数的权重为预设权重系数乘以已训练的步长后，除以预设的训练步长；当得到的所述预测结果的概率值不符合预设的第一条件时，所述第三损失函数的权重为0。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：所述第二损失函数的权重为1减去所述第三损失函数的权重。6.一种模型训练装置，其特征在于，包括：输入模块，用于将预测样本输入待训练模型的编码端，得到所述预测样本的特征向量；预测模块，用于根据所述特征向量和所述预测样本对应的真实结果，将所述真实结果输入解码端，得到预测结果；计算模块，用于根据所述真实结果所述预测结果和第一损失函数，计算得到第一损失值；训练模块，用于根据所述第一损失值调整所述待训练模型的参数。7.根据权利要求6所述的装置，其特征在于，所述第一损失函数包括第二损失函数和第三损失函数；所述计算模块，具体用于将所述真实结果输入所述第二损失函数，得到第二损失值；将所述预测结果输入所述第三损失函数，得到第三损失值；根据所述第二损失值、第三损失值以及所述第二损失函数的权重、所述第三损失函数的权重计算得到第一损失值。2CN114819079A权利要求书2/2页8.根据权利要求7所述的装置，其特征在于，所述计算模块，具体用于将所述第二损失值乘以所述第二损失函数的权重，得到第一损失参数；将所述第三损失值乘以所述第三损失函数的权重，得到第二损失参数；将所述第一损失参数和所述第二损失参数相加并取相反数，得到所述第一损失值。9.根据权利要求7或8所述的装置，其特征在于，每个所述预测结果对应一个概率值；当得到的所述预测结果的概率值符合预设的第一条件时，所述第三损失函数的权重为预设权重系数乘以已训练的步长后，除以预设的训练步长；当得到的所述预测结果的概率值不符合预设的第一条件时，所述第三损失函数的权重为0。10.根据权利要求9所述的装置，其特征在于，所述第二损失函数的权重为1减