基于双线性卷积神经网络的细粒度图像盲质量评价方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115829971A(43)申请公布日2023.03.21(21)申请号202211547291.7G06N3/08(2023.01)(22)申请日2022.12.02G06V10/44(2022.01)G06V10/82(2022.01)(71)申请人江西财经大学G06N3/0464(2023.01)地址330013江西省南昌市经济技术开发区双港东大街169号申请人江西省通讯终端产业技术研究院有限公司(72)发明人方玉明刘丽霞鄢杰斌姜文晖王耀南吴成中(74)专利代理机构北京中济纬天专利代理有限公司11429专利代理师黄攀(51)Int.Cl.G06T7/00(2017.01)G06T3/40(2006.01)权利要求书4页说明书9页附图2页(54)发明名称基于双线性卷积神经网络的细粒度图像盲质量评价方法(57)摘要本发明提出一种基于双线性卷积神经网络的细粒度图像盲质量评价方法，包括：对原始图像进行图像预处理；获取细粒度数据库中所有数据的平均主观得分；对细粒度特征敏感的信息内容进行提取得到特征映射；对特征映射进行压缩得到通道信息描述符，对通道信息描述符进行学习得到特征向量，对特征映射与特征向量进行通道乘法计算得到通道乘法输出特征；对通道乘法输出特征进行双线性池化处理得到细粒度质量差异图像；获得细粒度质量差异图像对应的评价分数；将细粒度质量差异图像对应的评价分数与平均主观得分进行对比计算得到各测试指标。本发明能够有效预测细粒度失真差异的图像质量，对于缩小客观图像质量评价与实际应用之间的差距具有重要意义。CN115829971ACN115829971A权利要求书1/4页1.一种基于双线性卷积神经网络的细粒度图像盲质量评价方法，其特征在于，通过细粒度图像盲质量评价模型实现，所述细粒度图像盲质量评价模型包括特征提取模块、压缩激励模块、双线性池化模块以及全连接层，所述方法包括如下步骤：步骤一、获取细粒度质量差异的原始图像，并对所述原始图像进行图像预处理；步骤二、利用Bradley‑Terry模型获取细粒度数据库中所有数据的平均主观得分；步骤三、基于卷积层序列构建特征提取模块，通过特征提取模块对细粒度特征敏感的信息内容进行提取以得到特征映射；步骤四、构建压缩激励模块，将所述特征映射输入至压缩激励模块中，对所述特征映射进行全局平均池化操作以压缩得到通道信息描述符，并利用两个全连接层对所述通道信息描述符进行学习以得到特征向量，对所述特征映射与所述特征向量进行通道乘法计算以得到通道乘法输出特征；步骤五、利用双线性池化模块对所述通道乘法输出特征进行双线性池化处理，以得到细粒度质量差异图像，并输入至全连接层；步骤六、通过全连接层获得所述细粒度质量差异图像对应的评价分数；步骤七、将所述细粒度质量差异图像对应的评价分数与所述平均主观得分进行对比计算以得到各测试指标。2.根据权利要求1所述的基于双线性卷积神经网络的细粒度图像盲质量评价方法，其特征在于，在所述步骤一中，对原始图像进行图像预处理的方法包括如下步骤：将所述原始图像的图像尺寸缩放为统一大小，用于便于输入模型；将尺寸缩放后的原始图像进行裁剪以得到图像边缘区域，进而得到图像中心正方形区域；对训练集中，裁剪后的图像采用随机角度中心旋转、随机垂直翻转以及随机水平翻转做数据增广用于防止过拟合。3.根据权利要求2所述的基于双线性卷积神经网络的细粒度图像盲质量评价方法，其特征在于，在所述步骤二中，Bradley‑Terry模型的表达式为：其中，γ(i)表示第i幅图像的偏好概率，Si表示第i幅图像的原始评分分数，Sj表示第j幅图像的原始评分分数，S表示原始评分分数集合，wi，j表示观察者对第i幅图像与第j幅图像的质量偏好，wi，j＝1表示观察者认为第i幅图像比第j幅图像质量更好，wi，j＝0表示观察者认为第j幅图像比第i幅图像质量更好，N(i，j)表示实验中第i幅图像比第j幅图像质量更好的频数，N(j，i)表示实验中第j幅图比第i幅图像质量更好的频数。4.根据权利要求3所述的基于双线性卷积神经网络的细粒度图像盲质量评价方法，其特征在于，在所述步骤三中，特征提取模块的输入特征表示为：2CN115829971A权利要求书2/4页X＝[x1，x2，...，xC]其中，X表示特征提取模块的输入特征，xC表示输入特征的第c个通道，X∈RH×W×C，R表示实数集，H表示特征的高度，W表示特征的宽度，C表示通道数量；通过特征提取模块最终得到的特征映射表示为：U＝[u1，u2，...，uc]其中，U表示特征映射；其中，uc表示第c个通道的特征映射，vc表示拥有c个通道的3维空间核，表示第k个2维空间核且作用于输入特征的第k个通道，xk表示输入特征的第k个通道，*表