图像美学质量评价方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887673A(43)申请公布日2022.01.04(21)申请号202111398424.4(22)申请日2021.11.23(71)申请人携程旅游信息技术（上海）有限公司地址201203上海市浦东新区自由贸易试验区碧波路518号302室(72)发明人杨凯罗超梁贤朋邹宇程国强(74)专利代理机构上海隆天律师事务所31282代理人徐莉钟宗(51)Int.Cl.G06K9/62(2006.01)权利要求书2页说明书9页附图3页(54)发明名称图像美学质量评价方法、装置、电子设备和存储介质(57)摘要本发明涉及图像处理技术领域，提供一种图像美学质量评价方法、装置、电子设备和存储介质。所述方法包括：对初始图像进行目标检测，获取目标图像；将目标图像输入评价模型，获得评价模型的多个输出节点输出的对应多个美学质量标签的预测值分布；其中，评价模型基于多尺度分类损失进行训练，多尺度分类损失包括对美学质量标签进行不同粒度分类形成的各个标签组的预测损失；根据预测值分布计算数学期望，获得目标图像的美学质量评价结果。本发明通过标签多尺度分类损失强约束分类得分之间的尺度不变关系，使输出的分布更加合理，解决使用分类处理回归问题时类别之间的顺序关系缺失的问题，及分类输出分布不合理的问题。CN113887673ACN113887673A权利要求书1/2页1.一种图像美学质量评价方法，其特征在于，包括：对初始图像进行目标检测，获取目标图像；将所述目标图像输入美学质量评价模型，获得所述美学质量评价模型的多个输出节点输出的对应多个美学质量标签的预测值分布；其中，所述美学质量评价模型基于多尺度分类损失进行训练，所述多尺度分类损失包括对所述多个美学质量标签进行不同粒度分类形成的各个标签组的预测损失；根据所述预测值分布计算数学期望，获得所述目标图像的美学质量评价结果。2.如权利要求1所述的图像美学质量评价方法，其特征在于，所述多个美学质量标签包括N+1个标签值递增的美学质量标签；对所述多个美学质量标签进行不同粒度分类，包括对所述N+1个美学质量标签进行分组数不同的多种分类，每种分类按照所述标签值的递增顺序，基于一当前分组数对所述N+1个美学质量标签进行分类。3.如权利要求2所述的图像美学质量评价方法，其特征在于，所述各个标签组包括至少对所述N+1个美学质量标签进行分组数等于N+1的分类形成的细粒度标签组，和至少对所述N+1个美学质量标签进行分组数小于所述细粒度标签组的最小分组数的分类形成的粗粒度标签组；每个细粒度标签组采用推土机距离损失函数，计算每张样本图像的基于所述细粒度标签组的预测值分布相对于所述样本图像的真实标签的预测损失；每个粗粒度标签组采用焦点损失函数，计算每张样本图像的基于所述粗粒度标签组的预测值分布相对于所述样本图像的真实标签的预测损失；每个所述粗粒度标签组还采用中心损失函数，计算所述粗粒度标签组的各样本图像的特征相对于所述粗粒度标签组的所有样本图像的特征中心的预测损失。4.如权利要求3所述的图像美学质量评价方法，其特征在于，N+1＝11；所述细粒度标签组包括分组数等于11的11分类标签组和分组数等于5的5分类标签组；所述粗粒度标签组包括分组数等于3的3分类标签组和分组数等于2的两种2分类标签组，且两种所述2分类标签组的分类方式不同。5.如权利要求3所述的图像美学质量评价方法，其特征在于，对一当前细粒度标签组中一当前样本图像，所述推土机距离损失函数的公式为：2lossEMD＝∑(CDFj(SoftMax(Y))‑CDFj(OneHot(label)))；其中，Y为所述当前样本图像的基于所述当前细粒度标签组的预测值分布，SoftMax(·)表示softmax操作；label为所述当前样本图像的真实标签，OneHot(·)表示onehot编码；CDFj(·)表示概率分布中的第j个元素；对一当前粗粒度标签组中一当前样本图像，所述焦点损失函数的公式为：其中，αlabel为平衡因子，αlabel基于样本图像集中所述当前粗粒度标签组的样本图像占比取值，γ为集中参数，取值为2；M为所述当前粗粒度标签组的分组数，ym为所述当前样本图像的基于所述当前粗粒度标签组的预测值分布中对应第m分组的预测值，ylabel为所述当前样本图像的真实标签；2CN113887673A权利要求书2/2页对第n’个粗粒度标签组，所述中心损失函数的公式为：其中，Kn’为所述第n’个粗粒度标签组的样本图像数，xk为所述第n’个粗粒度标签组的第k个样本图像的特征，cn’为所述第n’个粗粒度标签组的所有样本图像的特征中心。6.如权利要求3所述的图像美学质量评价方法，其特征在于，所述多尺度分类损失对所述各个标签组的预测损失进