情绪分类方法和情绪分类模型的训练方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113827240A(43)申请公布日2021.12.24(21)申请号202111111427.5(22)申请日2021.09.22(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人冯博豪刘雨鑫(74)专利代理机构中科专利商标代理有限责任公司11021代理人吕朝蕙(51)Int.Cl.A61B5/16(2006.01)权利要求书4页说明书13页附图7页(54)发明名称情绪分类方法和情绪分类模型的训练方法、装置及设备(57)摘要本公开提供了一种情绪分类方法，涉及人工智能领域，具体涉及深度学习领域和图像处理领域。情绪分类方法的具体实现方案为：确定视频帧序列中第一目标对象的第一生理信号；基于第一生理信号，确定视频帧序列中的第一目标视频帧，其中，第一目标视频帧中第一目标对象的第一生理信号的变化满足预定变化条件；基于第一目标视频帧，确定针对第一目标对象的第一情绪分类信息；基于第一情绪分类信息，确定第一目标对象的情绪类别。CN113827240ACN113827240A权利要求书1/4页1.一种情绪分类方法，包括：确定视频帧序列中第一目标对象的第一生理信号；基于所述第一生理信号，确定所述视频帧序列中的第一目标视频帧，其中，所述第一目标视频帧中所述第一目标对象的第一生理信号的变化满足预定变化条件；基于所述第一目标视频帧，确定针对所述第一目标对象的第一情绪分类信息；以及基于所述第一情绪分类信息，确定所述第一目标对象的情绪类别。2.根据权利要求1所述的方法，还包括：基于所述第一生理信号，确定针对所述第一目标对象的第二情绪分类信息；其中，基于所述第一情绪分类信息，确定所述第一目标对象的情绪类别包括：基于所述第一情绪分类信息和所述第二情绪分类信息，确定所述第一目标对象的情绪类别。3.根据权利要求1或2所述的方法，还包括：针对视频数据中的每个视频帧，确定所述每个视频帧中所述第一目标对象所在的区域，作为第一目标区域；从所述每个视频帧中截取所述第一目标区域的图像，得到针对所述第一目标对象的视频帧；以及将针对所述第一目标对象的视频帧按时序排列，得到所述视频帧序列。4.根据权利要求3所述的方法，其中，所述确定视频帧序列中第一目标对象的第一生理信号包括：针对所述视频帧序列中的每一帧，确定所述每一帧中所述第一目标对象的目标部位所在的区域，作为所述每一帧的第二目标区域；以及基于所述第二目标区域，确定所述视频帧序列中第一目标对象的第一生理信号。5.根据权利要求4所述的方法，其中，所述基于所述第二目标区域，确定所述视频帧序列中第一目标对象的第一生理信号包括：基于所述视频帧序列中视频帧的排列顺序，以预定帧数为窗口长度划分所述视频帧序列；对于划分得到的每个窗口内的视频帧组，对所述视频帧组中各视频帧的第二目标区域进行影像放大处理，得到一个处理后视频帧组；以及基于得到的至少一个处理后视频帧组，确定所述第一目标对象的目标生理指标随时间变化的信息，作为所述第一生理信号。6.根据权利要求2所述的方法，其中，所述基于所述第一生理信号，确定针对所述第一目标对象的第二情绪分类信息包括：提取所述第一生理信号的特征数据；以及将所述第一生理信号中各个时间点的目标生理指标与所述特征数据拼接后输入分类网络，得到针对所述第一目标对象的第二情绪分类信息，其中，所述第一生理信号包括所述第一目标对象的目标生理指标随时间变化的信息。7.根据权利要求1所述的方法，其中，所述基于所述第一目标视频帧，确定针对所述第一目标对象的第一情绪分类信息包括：将所述第一目标视频帧输入微表情识别模型，得到针对所述第一目标对象的第一情绪分类信息。2CN113827240A权利要求书2/4页8.根据权利要求2所述的方法，其中，所述基于所述第一情绪分类信息和所述第二情绪分类信息，确定所述第一目标对象的情绪类别包括：基于预定权重，确定所述第一情绪分类信息和所述第二情绪分类信息的加权和；以及基于所述加权和，确定所述第一目标对象的情绪类别。9.一种情绪分类模型的训练方法，其中，所述情绪分类模型包括信号提取网络和第一情绪识别网络；所述方法包括：采用所述信号提取网络得到视频帧序列样本中第二目标对象的第二生理信号；其中，所述视频帧序列样本包括所述第二目标对象的实际情绪类别；基于所述第二生理信号，确定所述视频帧序列中的第二目标视频帧，其中，所述第二目标视频帧中所述第二目标对象的第二生理信号的变化满足预定变化条件；基于所述第二目标视频帧，采用所述第一情绪识别网络确定针对所述第二目标对象的第三情绪分类信息；基于所述第三情绪分类信息，确定所述第二目标对象的预测情绪类别；以及基于所述预测情绪类别和所述实际情绪类别，对所述