用于训练模型的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114186097A(43)申请公布日2022.03.15(21)申请号202111517877.4(22)申请日2021.12.10(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人黄军何森森程军(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06F16/75(2019.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图6页(54)发明名称用于训练模型的方法和装置(57)摘要本申请公开了用于训练模型的方法和装置，涉及深度学习、视频处理技术领域。该方法包括：获取训练数据、以及获取训练数据的真实标签；采用初始视频分类模型预测训练数据的预测标签；采用真实标签与预测标签构建第一损失函数；采用第一损失函数训练初始视频分类模型，并得到训练完成的目标视频分类模型，其中，在第一训练阶段，采用第一学习率训练初始视频分类模型，以及在第二训练阶段，采用第二学习率训练初始视频分类模型。采用该方法训练得到的目标视频分类模型对视频分类，可以提高对视频进行分类的准确性。CN114186097ACN114186097A权利要求书1/2页1.一种用于训练模型的方法，包括：获取训练数据、以及获取所述训练数据的真实标签；采用初始视频分类模型预测所述训练数据的预测标签；采用所述真实标签与所述预测标签构建第一损失函数；采用所述第一损失函数训练所述初始视频分类模型，并得到训练完成的目标视频分类模型，其中，在第一训练阶段，采用第一学习率训练所述初始视频分类模型，以及在第二训练阶段，采用第二学习率训练所述初始视频分类模型。2.根据权利要求1所述的方法，其中，所述第一学习率基于训练进程动态确定，所述第二学习率基于训练进程动态确定。3.根据权利要求1所述的方法，其中，所述初始视频分类模型为卷积神经网络模型，所述初始视频分类模型包括归一化层，所述方法包括：针对所述初始视频分类模型中的每一层卷积层，将该卷积层的输出数据经过所述归一化层的处理后，输入该卷积层的下一层卷积层进行数据处理。4.根据权利要求1所述的方法，其中，所述采用所述真实标签与所述预测标签构建第一损失函数，包括：对所述预测标签进行标签平滑处理；采用经过标签平滑处理后的预测标签与所述真实标签构建所述第一损失函数。5.根据权利要求1所述的方法，其中，所述还方法包括：采用预先训练好的教师模型，预测所述训练数据的实际标签；采用所述预测标签与所述实际标签构建第二损失函数；所述采用所述第一损失函数训练所述初始视频分类模型，并得到训练完成的目标视频分类模型，包括：采用所述第一损失函数以及所述第二损失函数共同训练所述初始视频分类模型，并得到所述目标视频分类模型。6.一种视频分类方法，包括：获取待分类的视频；采用目标视频分类模型对所述待分类的视频进行分类，其中，所述目标视频分类模型基于如权利要求1‑5之一所述的方法训练得到。7.一种用于训练模型的装置，包括：第一获取单元，被配置为获取训练数据、以及获取所述训练数据的真实标签；第一预测单元，被配置为采用初始视频分类模型预测所述训练数据的预测标签；第一构建单元，被配置为采用所述真实标签与所述预测标签构建第一损失函数；第一训练单元，被配置为采用所述第一损失函数训练所述初始视频分类模型，并得到训练完成的目标视频分类模型，其中，在第一训练阶段，采用第一学习率训练所述初始视频分类模型，以及在第二训练阶段，采用第二学习率训练所述初始视频分类模型。8.根据权利要求7所述的装置，其中，所述第一学习率基于训练进程动态确定，所述第二学习率基于训练进程动态确定。9.根据权利要求7所述的装置，其中，所述初始视频分类模型为卷积神经网络模型，所述初始视频分类模型包括归一化层，所述装置包括：2CN114186097A权利要求书2/2页归一化单元，被配置为针对所述初始视频分类模型中的每一层卷积层，将该卷积层的输出数据经过所述归一化层的处理后，输入该卷积层的下一层卷积层进行数据处理。10.根据权利要求7所述的装置，其中，所述第一构建单元，包括：标签处理单元，被配置为对所述预测标签进行标签平滑处理；第一构建模块，被配置为采用经过标签平滑处理后的预测标签与所述真实标签构建所述第一损失函数。11.根据权利要求7所述的装置，其中，所述还装置包括：第二预测单元，被配置为采用预先训练好的教师模型，预测所述训练数据的实际标签；第二构建单元，被配置为采用所述预测标签与所述实际标签构建第二损失函数；所述第一训练单元，包括：第二训练单元，被配置为采用所述第一损失函