一种基于深度学习的车载人脸表情识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909289A(43)申请公布日2023.04.04(21)申请号202211238882.6G06V10/774(2022.01)(22)申请日2022.10.11G06N3/0464(2023.01)G06N3/084(2023.01)(71)申请人中国矿业大学G06N3/096(2023.01)地址221000江苏省徐州市大学路中国矿业大学南湖校区(72)发明人刘新华刘争光郝敬宾华德正祁鹏刘晓帆周皓王晴晴格热戈尔茨·罗尔奇克(74)专利代理机构徐州先卓知识产权代理事务所(普通合伙)32555专利代理师刘根榜(51)Int.Cl.G06V20/59(2022.01)G06V40/16(2022.01)G06V10/82(2022.01)权利要求书1页说明书4页附图4页(54)发明名称一种基于深度学习的车载人脸表情识别方法(57)摘要本发明公开了一种基于深度学习的车载人脸表情识别方法，包括加载FER图像数据集、图像预处理、将数据集分为训练和测试样本、使用预训练的SqueezeNet网络建立模型参数、对模型进行特征提取、将图像数据测试到模型中进行情感分类、计算性能测量参数。本发明的有益效果是：使用一种迁移学习的表情识别框架，实现了通过挤压网络对面部表情的分类，通过迁移学习实现CNN模型的挤压网络用于驾驶员微表情识别；使用一些FER数据库进行性能的评估；分析对比最精确的方法；通过研究卷积神经网络在面部表情识别中的表现，使用一个小型的CNN架构SqueezeNet，它的参数少，执行速度更快，可以在嵌入式系统中部署。CN115909289ACN115909289A权利要求书1/1页1.一种基于深度学习的车载人脸表情识别方法，其特征在于：包括以下步骤：步骤一、加载FER图像数据集，采集驾驶员图像并将采集到的驾驶员图像存储到指定的文件夹内，以创建图像数据库；步骤二、图像预处理，采用预处理技术对图像进行处理，同时也要对图像损伤区域进行修复；步骤三、将数据集分为训练和测试样本，系统建模训练遵循8：2的数据分割，百分之八十的数据用于训练，剩余百分之二十用来测试；步骤四、使用预训练的SqueezeNet网络建立模型参数；步骤五、对模型进行特征提取，从数据集中提取特征集，通过训练卷积神经网络来提取特征，找到一个集合，以准确的表示微表情的向量；步骤六、将图像数据测试到模型中进行情感分类，将测试结果进行分类，CNN分类器使用输入的图片对面部表情进行分类；步骤七、计算性能测量参数，通过运用深度学习技术去识别驾驶员微表情的变化，以此判断驾驶员的实时状态，预防交通事故的发生。2.根据权利要求1所述的车载人脸表情识别方法，其特征在于：所述步骤一中，通过车辆摄像头来获得驾驶员当前面部图像信息。3.根据权利要求1所述的车载人脸表情识别方法，其特征在于：所述步骤一中，使用公开的数据集作为实验的数据库。4.根据权利要求1所述的车载人脸表情识别方法，其特征在于：所述步骤二中，图像预处理用于对人脸特征进行提取，且所提取的人脸特征包括眼睛、鼻子、耳朵、嘴唇以及脸颊。5.根据权利要求1所述的车载人脸表情识别方法，其特征在于：所述步骤二中，所需处理的图像问题包括但不限于照片方向不同、明暗程度差异过大、尺寸大小不同。6.根据权利要求1所述的车载人脸表情识别方法，其特征在于：所述步骤三中，系统加载预训练的SqueezeNet模型和训练的网络使用批次梯度下降，批次大小为64，共55个epoch。7.根据权利要求1或6所述的车载人脸表情识别方法，其特征在于：所述步骤六中，FER系统除了对面部六种基本情感进行分类以外，还以通过微表情判断驾驶员的驾驶状态，进而准确判断驾驶员是否有分心驾驶活动。2CN115909289A说明书1/4页一种基于深度学习的车载人脸表情识别方法技术领域[0001]本发明涉及一种人脸表情识别方法，具体为一种基于深度学习的车载人脸表情识别方法，属于人工智能技术与汽车技术领域。背景技术[0002]随着生活水平的不断提高，越来越多的人把汽车作为代步工具，在方便人们出行的同时产生一系列安全问题。产生事故的原因有很多，例如，一些新手上路时，会因为没有驾驶经验，情绪紧张，对一些突发情况不能很好的应对；一些老司机也会长时间驾驶，产生疲劳，困倦等情况，威胁到自己以及他人的生命安全；还有一些人缺乏法律意识，甚至有酒驾，毒驾等行为。因此实时检测驾驶员的微表情判断驾驶员的驾驶状态至关重要，通过驾驶员微表情检测，配合智能驾驶技术能很大程度的减少事故的发生。[0003]微表情在脸上停留的时间极短，且汽车高速行驶，事故的发生往往只在一瞬间，所以需要快速采集图像，分析数据。近年来，随着深度学习的快速发展，深度学习技术已经被广