一种基于迁移学习的绘画情感预测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111832639A(43)申请公布日2020.10.27(21)申请号202010621067.2(22)申请日2020.06.30(71)申请人山西大学地址030006山西省太原市坞城路92号(72)发明人白茹意(74)专利代理机构太原申立德知识产权代理事务所(特殊普通合伙)14115代理人郭海燕(51)Int.Cl.G06K9/62(2006.01)G06T3/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于迁移学习的绘画情感预测方法(57)摘要本发明属于图像情感计算技术领域，一种基于迁移学习的绘画情感预测方法，解决绘画情感的自动预测。具体为：将绘画图像由RGB颜色空间转换成HSV模型，保留对绘画情感影响较大的H和S分量作为颜色特征图像。采用局部二值模式提取局部纹理特征。在AlexNet网络上采用迁移学习的方法，保留原始网络中全部卷积、池化和一个全连接的部分，并新增了5个全连接层。在对新模型进行参数微调时，将模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层(7‑11层)的参数采用随机初始化。将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，作为绘画图像新的三个通道，并输入到迁移学习神经网络中。CN111832639ACN111832639A权利要求书1/2页1.一种基于迁移学习的绘画情感预测方法，其特征在于，包括以下具体步骤：(1)将所有绘画图像调整为227×227大小；(2)将绘画图像由RGB颜色空间转换成HSV模型，将颜色分量H和S作为绘画图像的颜色特征图像；(3)采用局部二值模式将绘画图像转换成LBP纹理图像，具体步骤如下：a、给定邻域半径R＝1，采用圆形LBP算子计算，得到邻域像素个数P＝8；b、把3*3窗口中心像素的灰度值作为阈值，将该灰度值与其8个邻域像素的灰度值进行比较，若邻域像素的灰度值大于或等于中心像素的灰度值，则将该邻域像素的灰度值置1，反之置0，计算公式如下：每个像素的LBPP，R计算如下:其中，n是邻域像素的编号，gn是邻域像素的灰度值，gc是中心像素的灰度值，s(x)是一个符号函数：c、将b产生一个8位的二进制数，即为LBPP，R码，将此二进制数转化为十进制数，十进制数表征3*3窗口的LBP值，LBP值来反映3*3窗口的纹理信息，并用LBP值取代3*3窗口中心像素的灰度值；(4)采用迁移学习方法使用AlexNet网络在ImageNet数据集训练的基础上，微调设置新的网络模型，具体步骤如下：a、AlexNet网络的输入图像大小为227×227×3，AlexNet网络包含5个卷积层，激活函数采用ReLU，3个2×2的最大池化层和3个全连接层，在ImageNet数据集上进行训练；b、选取AlexNet网络中的5个卷积层，3个池化层和第一个全连接层，在此之后增加5个全连接层，最后一层的激活函数为sigmoid；c、对b中的新模型进行参数微调：将a中模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层7～11层的参数采用随机初始化；(5)将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，归一化算法为：其中v为某个像素点的灰度值，vmax为所有像素点灰度值的最大值，vmin为所有像素点灰度值的最小值；(6)将(5)中归一化后的颜色分量H、S和LBP纹理图像作为绘画图像新的三个通道，并输入到(4)中微调设置新的网络模型中，最终将绘画图像分为“积极”和“消极”两类，从而实现绘画图像情感的自动预测。2.根据权利要求1所述的一种基于迁移学习的绘画情感预测方法，其特征在于，所述(2)中由RGB颜色空间转换成HSV模型的公式为：2CN111832639A权利要求书2/2页Cmax＝max(R′,G′,B′)；Cmin＝min(R′,G′,B′)；Δ=Cmax-Cmin3.根据权利要求1所述的一种基于迁移学习的绘画图像情感预测方法，其特征在于，所述(3)a中采用圆形LBP算子计算，具体为：通过在位移(Rcos(2πn/P),Rsin(2πn/P))处对绘画图像灰度值进行插值。4.根据权利要求1所述的一种基于迁移学习的绘画情感预测方法，其特征在于，所述(4)中AlexNet网络的结构为：第1层为卷积层，卷积核个数为96，大小为11χ11，步长为4；第2层为卷积层，卷积核个数为256，大小为5χ5，步长为1；第3层为卷积层，卷积核个数为384，大小为3χ3，步长为1；第4层为卷积层，卷积核个数为384，大小为3χ3，步长为1；第5层为卷积层，卷积核个数为256，大小为3χ3