红外与光学图像融合的人脸表情识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963402A(43)申请公布日2022.01.21(21)申请号202111135117.7(22)申请日2021.09.27(71)申请人北方工业大学地址100043北京市石景山区晋元庄路5号(72)发明人邹建成李嘉欣(74)专利代理机构北京北新智诚知识产权代理有限公司11100代理人朱丽华(51)Int.Cl.G06V40/16(2022.01)G06V20/40(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书3页说明书8页附图4页(54)发明名称红外与光学图像融合的人脸表情识别方法及装置(57)摘要本发明公开一种红外与光学图像融合的人脸表情识别方法及装置，方法包括：获取待测目标的人脸阵列图像组，人脸阵列图像组包括多个人脸阵列图像，人脸阵列图像包括红外图像及其对应的光学图像；基于预先构建的图像融合模型将人脸阵列图像进行双尺度分解获取背景特征图和细节特征图并将背景特征图和细节特征图进行融合得到融合图像；将多个所述融合图像生成测试视频；基于预先构建的人脸表情识别模型并且根据多个预设的表情标签、测试视频预测待测目标的人脸表情。本发明提高了表情识别的准确性。CN113963402ACN113963402A权利要求书1/3页1.一种红外与光学图像融合的人脸表情识别方法，其特征在于，所述方法包括：获取待测目标的人脸阵列图像组，所述人脸阵列图像组包括多个人脸阵列图像，所述人脸阵列图像包括红外图像及其对应的光学图像；基于预先构建的图像融合模型将所述人脸阵列图像进行双尺度分解获取背景特征图和细节特征图并将所述背景特征图和细节特征图进行融合得到融合图像；将多个所述融合图像生成测试视频；基于预先构建的人脸表情识别模型并且根据多个预设的表情标签、所述测试视频预测所述待测目标的人脸表情；其中，所述图像融合模型是基于预设的图像样本并且利用机器学习算法构件的生成对抗神经网络；所述人脸表情识别模型是基于预设的人脸样本、所述表情标签并且利用机器学习算法构建的卷积神经网络。2.如权利要求1所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述图像融合模型包括生成器和双鉴别器，所述生成器包括编码器和解码器，所述双鉴别器包括红外鉴别器和光学鉴别器；在“基于预先构建的图像融合模型将所述人脸阵列图像进行双尺度分解获取背景特征图和细节特征图并将所述背景特征图和细节特征图进行融合得到融合图像”的步骤之前，所述方法还包括：将人脸阵列图像输入所述编码器，所述编码器对所述人脸阵列图像进行双尺度分解获取光学图像与红外图像的背景特征图和细节特征图，基于所述解码器将所述背景特征图和细节特征图进行融合获取融合图像；将红外图像和所述融合图像输入所述红外鉴别器以对所述融合图像进行真假鉴别；将光学图像和所述融合图像输入所述光学鉴别器以对所述融合图像进行真假鉴别；利用红外鉴别器和光学鉴别器的鉴别结果计算所述图像融合模型的损失函数，并且根据所述损失函数更新所述图像融合模型的网络参数，对更新后的图像融合模型重新进行网络训练，直至满足预设的收敛条件。3.如权利要求2所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述损失函数包括生成器损失函数和鉴别器损失函数；所述生成器损失函数和鉴别器损失函数如下式所示：其中，LG表示生成器的损失，LB表示编码器进行双尺度分解的损失，表示生成器的对抗损失，Lcon表示解码器的损失，LD表示双鉴别器的损失，LDV表示光学鉴别器的损失，LDI表示红外鉴别器的损失，λ表示预设的网络系数。4.如权利要求3所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述L1如下式所示：其中，φ表示tanh(·)函数且φ∈[‑1,1]，表示矩阵的2范数的平方，BV表示光学图2CN113963402A权利要求书2/3页像的背景特征图，BI表示红外图像的背景特征图，DV表示光学图像的细节特征图，DI表示红外图像的细节特征图，预设的网络系数。5.如权利要求4所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述如下式所示：其中，E表示数学期望，DI(F)表示将融合图像输入红外鉴别器中生成的标量，Dv(F)表示将融合图像输入光学鉴别器中生成的标量，F表示融合图像，β表示预设的网络系数。6.如权利要求5所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述Lcon如下式所示：其中，表示融合图像中的背景损失，表示融合图像中的细节损失，||·||F表示矩阵的Frobenius范数，表示梯度算子，ξ1、ξ2分别为预设的常数，BF表示融合图像中的背景特征，DF表示融合