面部表情识别方法、终端设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035581A(43)申请公布日2022.09.09(21)申请号202210738438.4(22)申请日2022.06.27(71)申请人闻泰通讯股份有限公司地址314006浙江省嘉兴市南湖区亚中路777号（嘉兴科技城）(72)发明人韦燕华(74)专利代理机构广州德科知识产权代理有限公司44381专利代理师郭俊霞万振雄(51)Int.Cl.G06V40/16(2022.01)G06V10/56(2022.01)G06V10/77(2022.01)G06V10/82(2022.01)权利要求书2页说明书18页附图5页(54)发明名称面部表情识别方法、终端设备及存储介质(57)摘要本申请实施例公开了一种面部表情识别方法、终端设备及存储介质，应用于图像识别技术领域，可解决如何准确检测用户的面部表情的问题。该方法包括：获取人脸图像；对人脸图像进行全局特征提取得到全局特征向量，并根据全局特征向量确定人脸图像对应的全局表情分类概率；通过训练后的神经网络模型提取人脸图像的局部特征得到局部特征向量，并根据局部特征向量确定人脸图像对应的局部表情分类概率；根据全局表情分类概率和局部表情分类概率，确定人脸图像对应的目标表情分类概率，并根据目标表情分类概率确定人脸图像对应的面部表情。CN115035581ACN115035581A权利要求书1/2页1.一种面部表情识别方法，其特征在于，所述方法包括：获取人脸图像；对所述人脸图像进行全局特征提取得到全局特征向量，并根据所述全局特征向量确定所述人脸图像对应的全局表情分类概率；通过训练后的神经网络模型提取所述人脸图像的局部特征得到局部特征向量，并根据所述局部特征向量确定所述人脸图像对应的局部表情分类概率；根据所述全局表情分类概率和所述局部表情分类概率，确定所述人脸图像对应的目标表情分类概率，并根据所述目标表情分类概率确定所述人脸图像对应的面部表情。2.根据权利要求1所述的方法，其特征在于，所述训练后的神经网络模型包括：第一神经网络模型和第二神经网络模型，所述通过训练后的神经网络模型提取所述人脸图像的局部特征得到局部特征向量，包括：通过所述第一神经网络模型，对所述人脸图像进行超分辨率处理及降噪处理，得到第一图像；通过所述第二神经网络模型对所述第一图像进行局部特征提取，以得到所述局部特征向量。3.根据权利要求2所述的方法，其特征在于，所述通过所述第二神经网络模型对所述第一图像进行局部特征提取，以得到所述局部特征向量，包括：对所述第一图像进行局部关键点检测，得到眼部关键点和嘴部关键点；根据所述眼部关键点和所述嘴部关键点，对所述第一图像进行提取，以得到眼部区域图和嘴部区域图；通过所述第二神经网络模型分别对所述眼部区域图和所述嘴部区域图进行局部特征提取，以得到所述眼部区域图和所述嘴部区域图分别对应的局部特征向量。4.根据权利要求3所述的方法，其特征在于，所述通过所述第二神经网络模型分别对所述眼部区域图和所述嘴部区域图进行局部特征提取，以得到所述眼部区域图和所述嘴部区域图分别对应的局部特征向量，包括：通过所述第二神经网络模型中的预设滑动窗口，按照预设滑动距离在所述眼部区域图和所述嘴部区域图上分别滑动至多个预设位置，并在每个所述预设位置上进行局部特征提取，以得到所述眼部区域图和所述嘴部区域图分别对应的多个局部特征向量；其中，所述预设滑动窗口的尺寸是分别根据所述眼部区域图和所述嘴部区域图的宽和高确定的。5.根据权利要求4所述的方法，其特征在于，所述在每个所述预设位置上进行局部特征提取，以得到所述眼部区域图和所述嘴部区域图分别对应的多个局部特征向量，包括：在每个所述预设位置上，分别对所述眼部区域图和所述嘴部区域图进行裁剪，得到多个眼部特征图和多个嘴部特征图；对每个所述眼部特征图和每个所述嘴部特征图进行局部特征提取，以得到所述多个眼部区域图对应的多个眼部特征向量和所述多个嘴部区域图对应的多个嘴部特征向量。6.根据权利要求5所述的方法，其特征在于，所述根据所述局部特征向量确定所述人脸图像对应的局部表情分类概率，包括：将所述多个眼部特征向量和所述多个嘴部特征向量分别对应输入全连接层网络模型，2CN115035581A权利要求书2/2页以得到所述多个眼部特征向量和所述多个嘴部特征向量对应的多个表情分类概率，每个表情分类概率对应一个眼部特征向量以及对应一个嘴部特征向量；对所述多个表情分类概率取平均值，以确定所述人脸图像对应的所述局部表情分类概率。7.根据权利要求2所述的方法，其特征在于，所述通过第一神经网络模型，对所述人脸图像进行超分辨率处理及降噪处理，得到第一图像，包括：将所述人脸图像进行放大，并根据预设方向和预设尺寸，对放大后的人脸图像进行裁剪，得到多个第一