一种基于时空特征的面部肌电情绪识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115919313A(43)申请公布日2023.04.07(21)申请号202211490249.6A61B5/389(2021.01)(22)申请日2022.11.25A61B5/397(2021.01)A61B5/00(2006.01)(71)申请人合肥工业大学地址230009安徽省合肥市包河区屯溪路193号(72)发明人成娟徐慕华李畅刘羽宋仁成陈勋(74)专利代理机构安徽省合肥新安专利代理有限责任公司34101专利代理师陆丽莉胡东升(51)Int.Cl.A61B5/16(2006.01)G06F3/01(2006.01)G06F18/2431(2023.01)G06N5/01(2023.01)权利要求书2页说明书8页附图2页(54)发明名称一种基于时空特征的面部肌电情绪识别方法(57)摘要本发明公开了一种基于时空特征的面部肌电情绪识别方法，其步骤包括：第一步，对于原始多通道面部肌电信号进行一系列预处理操作，具体步骤包括：滤波、归一化和样本分割；第二步，获取多通道面部肌电信号中的时空信息，并对其进行增强和提取时空特征，具体步骤包括：构建2D帧序列和多粒度扫描；第三步，构建级联森林分类器完成情绪分类任务。本发明从多通道面部肌电信号中提取出时空特征，并采用级联森林分类器在小样本数据集上完成了分类任务，从而能实现高效、准确的情绪识别，为基于面部肌电信号的情绪识别的实际应用提供了新的思路和解决方法。CN115919313ACN115919313A权利要求书1/2页1.一种基于时空特征的面部肌电情绪识别方法，其特征在于，包括以下步骤：步骤1：获取任一受试者的带有C个通道的面部肌电信号数据并进行滤波、归一化和分T割样本的预处理，得到所述受试者的N个面部肌电信号样本S＝[S1,S2,...,Sn,...,SN]；其中，Sn表示第n个面部肌电信号样本，且表示第n个面部肌电信号样本在第m个时刻的肌电数据，且表示在第m个时刻的肌电数据中来自第c个通道的数据；M表示面部肌电信号样本中的所有时刻；C表示通道数；步骤2：从面部肌电信号样本中提取时空特征；步骤2.1：构建2D帧序列，获取时空信息：按照面部肌肉群的空间位置分布，利用式(1)将第m个时刻的肌电数据映射成第m个平面矩阵从而得到M个平面矩阵：将M个平面矩阵按照时间顺序依次拼接，从而得到第n个面部肌电信号样本Sn转换后的第n个2D帧序列步骤2.2：多粒度扫描处理2D帧序列，增强时空信息并提取时空特征：步骤2.2.1：采用多粒度扫描对第n个2D帧序列An中的第m个平面矩阵进行扫描处理，从而将第m个平面矩阵划分为H个子矩阵，其中，第h个子矩阵记为H＝[(d‑ω)/l+1]2，d表示平面矩阵的维数，ω表示扫描窗口的维数，l表示滑动扫描的步长；步骤2.2.2：将第m个平面矩阵的第h个子矩阵分别输入随机森林分类器和完全随机森林分类器中进行处理，并相应地输出随机森林类向量和完全随机森林类向量其中，表示随机森林分类器判断第h个子矩阵属于第k类情绪的概率，表示完全随机森林分类器判断第h个子矩阵属于第k类情绪的概率；k＝1,2,...,K，K表示情绪标签的类别数；步骤2.2.3：将和拼接形成第h个子矩阵的特征向量，再将H个子矩阵的特征向量拼接形成第m个平面矩阵的特征向量，之后再将M个平面矩阵的特征向量拼接形成第n个2D帧序列An的时空特征向量表示第n个2D帧序列An的第r个时空特征，R＝2K×H×M；步骤2.3：级联森林分类器对样本进行分类：步骤2.3.1：构建级联森林分类器：令级联森林分类器具有X层结构，每一层均包含：i个随机森林分类器和i个完全随机森林分类器，且每个森林分类器中的树木数量为j；令当前层为x，并初始化x＝1；令第n个面部肌电信号样本Sn的时空特征向量为第一层的输入，记为2CN115919313A权利要求书2/2页从训练集中划分出部分数据作为验证集，令第x‑1层的验证精度为零；步骤2.3.2：训练级联森林分类器；步骤2.3.2.1：将输入级联森林分类器的第x层中，并由第x层的i个随机森林分类器和i个完全随机森林分类器分别处理，所产生的全部类向量拼接在一起后形成第x层的增强特征向量其中，表示第n个面部肌电信号样本Sn在第x层产生的第q个增强特征，Q＝2i×K；步骤2.3.2.2：将验证集输入级联森林分类器的第x层，用于计算第x层的验证精度；若第x层的验证精度大于x‑1层的验证精度，则执行步骤2.3.2.3；否则，表示完成级联森林分类器的训练，并将当前第x层作为最后一层；步骤2.3.2.3：第x层的增强特征向量与时空特征向量拼接后，得到维数为(r+q)的第x+1层的输入并输入级联森林分类器的第x+1层进行处理，从而得到第x+1层的增强特