一种基于多模态融合的情绪分类识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112861778A(43)申请公布日2021.05.28(21)申请号202110245153.2(22)申请日2021.03.05(71)申请人南京邮电大学地址210000江苏省南京市雨花台区软件大道186号申请人赛尔网络有限公司(72)发明人马捃凯汤平川王励烨黄丽亚(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204代理人王恒静(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06F17/16(2006.01)G06N20/10(2019.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于多模态融合的情绪分类识别方法(57)摘要本发明公开一种基于多模态融合的情绪分类识别方法，包括：输入单个数据的脑电信号，并对脑电信号预处理，脑电信号为多通道数字信号；选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵；根据连接权重计算加权K‑阶传播数，进而得到每个节点的重要性排名；将脑网络拓扑结构和节点的重要性进行融合；计算训练数据集中所有特征的F‑score值，对融合后的特征进行选择，对整个数据集进行情绪分类；本发明采用合理的特征选择策略从整个特征空间选择最好的子集，将网络拓扑结构和节点重要性两种模式组合导致的冗余信息进行删除，避免了过拟合，减少了时间复杂度，提高分类准确率。CN112861778ACN112861778A权利要求书1/2页1.一种基于多模态融合的情绪分类识别方法，其特征在于，包括：(1)输入单个数据的脑电信号，并对脑电信号预处理，所述脑电信号为多通道数字信号；(2)选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵，矩阵维度为M*M；(3)根据所述连接权重计算加权K‑阶传播数，进而得到每个节点的重要性排名；(4)将脑网络拓扑结构和节点的重要性进行融合；(5)计算训练数据集中所有特征的F‑score值，并利用F‑score算法对融合后的特征进行选择，并对整个数据集进行情绪分类。2.根据权利要求1所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(2)中，相位锁定值PLV表示为：Δφ(t)＝φx(jΔt)‑φy(jΔt)其中，Δφ(t)表示信号x(t)和y(t)在采样时间Δt内的相位差，φx(jΔt)，φy(jΔt)分别为两个信号x(t)和y(t)第j个样本的瞬时相位，N是每个信号的样本总数，i为虚部。3.根据权利要求1所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(3)中，根据连接权重计算加权K‑阶传播数，包括：(31)根据连接权重矩阵得到节点之间的最短路径矩阵D，D(vi，vj)表示网络节点vi到节点vj的最短路径；(32)计算脑网络在不同K值下的传播数，K‑阶传播数表示为：其中，V为脑网络中节点的集合，i≠j，且0≤i，j≤(M*M)；(33)根据信息论中香农熵理论定义网络的K‑阶结构熵：K∈[0，d]其中，n为网络中节点的总数，d为脑网络的最大直径；(34)计算不同K值下的权重：(35)将传播数与权重相乘进行求和：其中，S是结构熵归一化后的结果。表示为：(36)对进行排序，得到各个网络节点的重要性。2CN112861778A权利要求书2/2页4.根据权利要求3所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(4)中，脑网络拓扑结构和节点的重要性进行融合，具体为：将基于PLV生成的M*M的脑网络矩阵展开成一维向量，然后与脑网络节点重要性的一维向量进行组合，将两种模态的特征拼接成一个一维向量的特征。5.根据权利要求4所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(5)中，特征选择步骤如下：(51)计算所有训练数据集中所有特征的F‑score，接下来根据F‑score对所有特征进行降序排序，将重新排列后的特征集定义为F，并将特征集的子集Fsub初始化为空；将最佳分类结果定义为MaxR，也将其初始化为0；将最佳特征索引集合Finx初始化为空；(52)从F中选择F‑score最高的特征向量，将所选的向量添加到Fsub中，将n设置为Fsub中单个样本的特征数；(53)对Fsub进行10折交叉验证，并平均分类准确率为μ；(54)如果μ比MaxR大，则用μ替换MaxR，并将Finx作为Fsub的特征索引；(55)重复步骤(52)‑(54)直到n＞D，D为特征的总数；经过上述步骤，能够选择出最佳的特征组。6.根据权利要求5所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(5)中，对整个数据