图像裁切模型的训练方法、装置及图像裁切方法、装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112132146A(43)申请公布日2020.12.25(21)申请号202010817887.9(22)申请日2020.08.14(71)申请人北京三快在线科技有限公司地址100190北京市海淀区北四环西路9号2106-030(72)发明人张健为赖申其柴振华(74)专利代理机构北京市隆安律师事务所11323代理人权鲜枝(51)Int.Cl.G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书15页附图8页(54)发明名称图像裁切模型的训练方法、装置及图像裁切方法、装置(57)摘要本申请公开了一种图像裁切模型的训练方法、装置及图像裁切方法、装置，图像裁切模型的训练方法包括：获取第一图像裁切模型提取的训练图像对的第一图像特征，获取第二图像裁切模型提取的训练图像对的第二图像特征；根据第一原图特征和第一子图特征，确定原图与子图之间的评分差异，以确定第一排序损失值；根据第二图像裁切模型提取的第二图像特征对第一图像裁切模型进行知识蒸馏，确定蒸馏损失值；根据第一排序损失值和蒸馏损失值，对第一图像裁切模型的参数进行更新。本申请方案能够自主学习图像的隐式特征如显著性特征，提高特征的鲁棒性，同时兼顾了对图像重要信息的保留程度，模型轻量级的设计，有效减少前馈时间，增强了模型的实用性。CN112132146ACN112132146A权利要求书1/3页1.一种图像裁切模型的训练方法，其特征在于，包括：获取第一图像裁切模型提取的训练图像对的第一图像特征，以及获取第二图像裁切模型提取的所述训练图像对的第二图像特征，所述训练图像对包括原图及其子图，所述第一图像特征包括第一原图特征和第一子图特征；根据所述第一原图特征和所述第一子图特征，确定所述原图与所述子图之间的评分差异，根据所述评分差异确定第一排序损失值；根据所述第二图像裁切模型提取的第二图像特征对所述第一图像裁切模型进行知识蒸馏，确定蒸馏损失值；根据所述第一排序损失值和所述蒸馏损失值，对所述第一图像裁切模型的参数进行更新。2.根据权利要求1所述的图像裁切模型的训练方法，其特征在于，所述第二图像裁切模型包括图像评分子模型，所述第二图像特征包括第二原图特征和第二子图特征，所述蒸馏损失值包括原图特征蒸馏损失值和子图特征蒸馏损失值，所述根据所述第二图像裁切模型提取的第二图像特征对所述第一图像裁切模型进行知识蒸馏，确定蒸馏损失值包括：根据所述第一原图特征与所述第二原图特征之间的特征差异，确定所述原图特征蒸馏损失值；根据所述第一子图特征与所述第二子图特征之间的特征差异，确定所述子图特征蒸馏损失值。3.根据权利要求2所述的图像裁切模型的训练方法，其特征在于，所述图像评分子模型通过如下方式训练得到：利用所述图像评分子模型的卷积层提取所述训练图像对的第二原图特征和第二子图特征；利用所述图像评分子模型的全连接层对所述第二原图特征和第二子图特征进行处理，根据处理后的所述第二原图特征和所述第二子图特征，确定所述原图与所述子图之间的评分差异；根据所述评分差异确定第二排序损失值，根据所述第二排序损失值对所述图像评分子模型的参数进行更新。4.根据权利要求1所述的图像裁切模型的训练方法，其特征在于，所述第二图像裁切模型包括图像显著性检测子模型，所述第二图像特征包括显著性特征，所述蒸馏损失值包括显著性蒸馏损失值，所述获取第二图像裁切模型提取的所述训练图像对的第二图像特征包括：利用图像显著性检测子模型提取所述原图的显著性特征；所述根据所述第二图像裁切模型提取的第二图像特征对所述第一图像裁切模型进行知识蒸馏，确定蒸馏损失值包括：对所述第一图像裁切模型提取的第一图像特征进行上采样；根据上采样后的第一图像特征与所述显著性特征之间的特征差异，确定所述显著性蒸馏损失值。5.根据权利要求4所述的图像裁切模型的训练方法，其特征在于，所述显著性特征包括原图显著性特征和子图显著性特征，所述显著性蒸馏损失值包括原图显著性蒸馏损失值和2CN112132146A权利要求书2/3页所述子图显著性蒸馏损失值，所述根据上采样后的第一图像特征与所述显著性特征之间的特征差异，确定所述显著性蒸馏损失值包括：根据上采样后的所述第一原图特征与所述原图显著性特征之间的特征差异，确定所述原图显著性蒸馏损失值；根据上采样后的所述第一子图特征与所述子图显著性特征之间的特征差异，确定所述子图显著性蒸馏损失值。6.根据权利要求4所述的图像裁切模型的训练方法，其特征在于，所述蒸馏损失值包括特征蒸馏损失值，所述根据所述第一排序损失值和所述蒸馏损失值，对所述第一图像裁切模型的参数进行更新包括：对所述图像显著性特征进行全局池化处理，得到全局池化特征；