基于驾驶员情绪的车内互动控制系统、方法及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115402333A(43)申请公布日2022.11.29(21)申请号202210809333.3G06V20/59(2022.01)(22)申请日2022.07.11G06V40/16(2022.01)(71)申请人江铃汽车股份有限公司地址330200江西省南昌市南昌县迎宾中大道2111号(72)发明人凌芳芳左敏余军陈晖(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师何世磊(51)Int.Cl.B60W40/08(2012.01)B60W50/08(2020.01)B60R16/037(2006.01)B60R16/023(2006.01)G06V20/56(2022.01)权利要求书2页说明书7页附图2页(54)发明名称基于驾驶员情绪的车内互动控制系统、方法及存储介质(57)摘要本发明公开了一种基于驾驶员情绪的车内互动控制系统、方法及存储介质。该系统包括图像获取单元，用于通过车载摄像机对驾驶员的面部信息进行图像采集，获取静态图像或动态图像序列，并对所采集到的图像进行传输；图像分析单元，用于对图像获取单元采集到的图像进行图像预处理、面部表情特征提取、面部表情分类，以得到面部表情分类结果；控制单元，用于基于获取到的面部表情分类结果，对情绪类型进行情绪管理，以生成对应的车内互动控制方案。本发明基于用户的情绪，配合智能的氛围灯显示方案及音乐播放方案，可营造轻松愉悦的驾驶氛围，让车内生活更有仪式感，同时舒缓驾驶员的疲劳感，实现真正的人机交互。CN115402333ACN115402333A权利要求书1/2页1.一种基于驾驶员情绪的车内互动控制系统，其特征在于，包括：图像获取单元，用于通过车载摄像机对驾驶员的面部信息进行图像采集，获取静态图像或动态图像序列，并对所采集到的图像进行传输；图像分析单元，用于对图像获取单元采集到的图像进行图像预处理、面部表情特征提取、面部表情分类，以得到面部表情分类结果；控制单元，用于基于获取到的面部表情分类结果，对情绪类型进行情绪管理，以生成对应的车内互动控制方案。2.根据权利要求1所述的基于驾驶员情绪的车内互动控制系统，其特征在于，所述控制单元包括数据缓冲池、情绪管理模块、氛围灯控制模块和音乐控制模块；所述数据缓冲池用于存储预设好的音乐；所述情绪管理模块用于通过所获取到的情绪类别及等级，对不同情绪进行分类管理，以生成与情绪类别及等级对应的氛围灯显示方案及音乐播放方案，并将生成的方案通过信号传输的方式发送给所述氛围灯控制模块和所述音乐控制模块；所述氛围灯控制模块用于驱动氛围灯按指令进行显示，所述音乐控制模块驱动所述数据缓冲池中对应的音乐进行播放。3.根据权利要求2所述的基于驾驶员情绪的车内互动控制系统，其特征在于，所述车内互动控制系统还包括执行单元；所述执行单元包括氛围灯及扬声器，所述执行单元用于基于所述氛围灯控制模块和所述音乐控制模块，执行对应的氛围灯显示以及音乐播放，所述氛围灯安装在车门储物盒、车门把手、车门装饰条、脚踏板周边、中控台、仪表盘中的至少一个位置，扬声器包括前扬声器、后扬声器、左扬声器、右扬声器中的至少一种。4.根据权利要求1所述的基于驾驶员情绪的车内互动控制系统，其特征在于，所述控制单元采用座舱域控制器。5.一种基于驾驶员情绪的车内互动控制方法，其特征在于，包括：步骤1：采集车内驾驶员的面部图像并进行传输；步骤2：对采集到的图像进行处理，识别出驾驶员的情绪类别及等级；步骤3：根据获取到的情绪类别以及等级，通过座舱域控制器进行用户情绪管理处理，形成对应的车内互动控制方案；步骤4：基于车内互动控制方案，控制车内氛围灯的显示及音乐播放。6.根据权利要求5所述的基于驾驶员情绪的车内互动控制方法，其特征在于，步骤1具体包括：通过车载摄像机对驾驶员的面部信息进行图像采集，获取静态图像或动态图像序列。7.根据权利要求5所述的基于驾驶员情绪的车内互动控制方法，其特征在于，步骤2具体包括：(1)图像预处理：对获取到的静态图像或动态图像序列，执行图像的大小和灰度的归一化，头部姿态的矫正，图像分割；(2)面部表情特征提取：将点阵转化成更高级别图像表述，在尽可能保证稳定性和识别率的前提下，对图像数据进行降维处理；(3)面部表情分类判别：包括设计和分类决策，判断识别到的表情，与预存的表情库做2CN115402333A权利要求书2/2页对比，以得到面部表情分类结果。8.根据权利要求7所述的基于驾驶员情绪的车内互动控制方法，其特征在于，所述的图像预处理具体为提取仅具有面部的图像部分，对面部特征区域进行分割和归一化，头部姿态矫正，其中，归一化是对面部光照和位置进行统一处理，将图像统一重塑为标准大小；所述的面部表情特征提取，