预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共14页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035576A(43)申请公布日2022.09.09(21)申请号202210615276.5G06V10/75(2022.01)(22)申请日2022.05.31G06V10/80(2022.01)(71)申请人深圳市北科瑞声科技股份有限公司地址518036广东省深圳市福田区梅林街道梅都社区中康路136号深圳新一代产业园3栋1201-6(72)发明人黄石磊蒋志燕曾航季佳丽杨大明(74)专利代理机构深圳智汇远见知识产权代理有限公司44481专利代理师刘洁(51)Int.Cl.G06V40/16(2022.01)G06V40/20(2022.01)G06V10/25(2022.01)权利要求书2页说明书9页附图2页(54)发明名称基于人脸视频的用户情绪识别方法、装置、设备及介质(57)摘要本申请涉及一种基于人脸视频的用户情绪识别方法、装置、设备及存储介质。所述方法包括:利用图像采集设备实时采集用户的人脸视频信息,提取人脸视频信息中的感兴趣区域,基于感兴趣区域得到人脸视频信息的BVP信号,基于BVP信号及EEMD算法构建体征信号,基于频谱跟踪算法和体征信号得到用户的实时体征信息,根据人脸视频信息对用户进行姿态分析,判断人脸视频信息中用户是否产生预设姿态,当判断人脸视频信息中用户产生预设姿态时,记录用户产生预设姿态的时间信息,读取时间信息对应的目标体征信息,基于目标体征信息和预设姿态识别用户的情绪识别结果。本申请结合体征信息和姿态信息可以更准确地识别用户的情绪。CN115035576ACN115035576A权利要求书1/2页1.一种基于人脸视频的用户情绪识别方法,其特征在于,所述方法包括:利用预先配置的图像采集设备实时采集用户的人脸视频信息,提取所述人脸视频信息中的感兴趣区域,基于所述感兴趣区域得到所述人脸视频信息的BVP信号;基于所述BVP信号及EEMD算法构建体征信号,基于频谱跟踪算法和所述体征信号得到所述用户的实时体征信息;根据所述人脸视频信息对所述用户进行姿态分析,判断所述人脸视频信息中所述用户是否产生预设姿态;当判断所述人脸视频信息中所述用户产生预设姿态时,记录所述用户产生预设姿态的时间信息,读取所述时间信息对应的目标体征信息,基于所述目标体征信息和预设姿态识别所述用户的情绪识别结果。2.如权利要求1所述的基于人脸视频的用户情绪识别方法,其特征在于,所述基于所述感兴趣区域得到所述人脸视频信息的BVP信号,包括:对所述感兴趣区域内的像素点执行灰度值归一化处理后,执行瑞利分布匹配;去除所述感兴趣区域内灰度值落在瑞利分布之外的像素点;构建所述感兴趣区域内去除像素点后的色彩模型,将所述色彩模型的RGB三通道信号进行线性组合得到所述BVP信号。3.如权利要求1所述的基于人脸视频的用户情绪识别方法,其特征在于,所述基于所述BVP信号及EEMD算法构建体征信号,包括:利用EEMD算法将所述BVP信号分解为IMF函数组合,基于所述IMF函数组合构建体征信号。4.如权利要求1所述的基于人脸视频的用户情绪识别方法,其特征在于,所述根据所述人脸视频信息对所述用户进行姿态分析,包括:从所述人脸视频信息中获取所述用户的人脸图像信息;根据所述用户的人脸图像信息分析所述用户的人脸图像信息相对应的目标姿态。5.如权利要求4所述的基于人脸视频的用户情绪识别方法,其特征在于,所述判断所述人脸视频信息中所述用户是否产生预设姿态,包括:将所述目标姿态与所述预设姿态进行匹配;若匹配成功,判断所述人脸视频信息中所述用户产生预设姿态;若匹配失败,判断所述人脸视频信息中所述用户未产生预设姿态。6.如权利要求1所述的基于人脸视频的用户情绪识别方法,其特征在于,所述基于所述目标体征信息和预设姿态识别所述用户的情绪识别结果,包括:提取所述目标体征信息对应的文本特征;从所述人脸视频信息中截取所述用户产生预设姿态的姿态图像,提取所述姿态图像对应的图像特征;将所述文本特征和所述图像特征进行融合,得到融合特征;将所述融合特征输入预先训练的情绪识别模型,得到所述用户的情绪识别结果。7.如权利要求1所述的基于人脸视频的用户情绪识别方法,其特征在于,在基于所述目标体征信息和预设姿态识别所述用户的情绪识别结果之后,所述方法还包括:将所述用户的情绪识别结果发送至预设终端。2CN115035576A权利要求书2/2页8.一种基于人脸视频的用户情绪识别装置,其特征在于,所述装置包括:提取模块:用于利用预先配置的图像采集设备实时采集用户的人脸视频信息,提取所述人脸视频信息中的感兴趣区域,基于所述感兴趣区域得到所述人脸视频信息的BVP信号;构建模块:用于基于所述BVP信号及EEMD算法构建体征信号,基于频谱跟踪算法和所述体征信号得