基于多通道表面肌电信号的连续手势动作识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115050104A(43)申请公布日2022.09.13(21)申请号202210977640.2G06N3/04(2006.01)(22)申请日2022.08.16G06N3/08(2006.01)A61B5/11(2006.01)(71)申请人苏州唯理创新科技有限公司A61B5/389(2021.01)地址215200江苏省苏州市吴江经济技术A61B5/397(2021.01)开发区长安路东侧吴江科技创业园1号楼411、412室(72)发明人姜汉钧李孟辉(74)专利代理机构苏州衡创知识产权代理事务所(普通合伙)32329专利代理师蔡宝(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06K9/00(2022.01)G06K9/62(2022.01)权利要求书2页说明书8页附图1页(54)发明名称基于多通道表面肌电信号的连续手势动作识别方法(57)摘要本发明公开了基于多通道表面肌电信号的连续手势动作识别方法，属于手势动作识别领域，涉及人机交互技术，本发明通过将从sEMG获得的小臂肌电信号，与从九轴陀螺仪实时获取臂环的空间运动信息进行多模态融合，完成了整个前臂的运动信息的捕捉，兼顾手部细节动作与手臂大幅动作。通过运用ICA算法，解决了不同通道之间信号混合互相干扰的问题，从而进一步降低了模型的训练难度，降低了对训练数据集的规模要求。通过应用成熟的单目视觉技术，实现了对连续变化手势的自动化打标，其成本和实施难度都比传统方式大大降低。利用用户本人的sEMG数据进行深度学习训练极大地降低对模型泛化能力的要求，从而利用较小的训练数据量实现更好的训练效果。CN115050104ACN115050104A权利要求书1/2页1.基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，包括以下步骤：微处理器控制采集芯片使用固定频率连续获取sEMG信号和九轴加速度计产生的空间位置和倾角信息；采集芯片将sEMG信号和空间位置和倾角信息反馈回微处理器；微处理器对sEMG信号进行数字滤波处理，得到一次处理信号；微处理器将一次处理信号和空间位置和倾角信息通过无线传输模块传输至上位处理器；上位处理器使用独立变量分析算法对一次处理信号进行解混计算获得输入序列向量；将输入序列向量输入深度学习模型，得出输出序列向量；在上位处理器中，将输出序列向量的关键点坐标生成s*3的矩阵；其中的s表示关键手势点的个数；利用九轴加速度计产生的空间位置和倾角信息对矩阵进行旋转和校正生成Ggest；在上位处理器中，利用Ggest中的关键点坐标生成手势图形或手势动画进而完成连续动作的手势识别。2.根据权利要求1所述的基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，上位处理器使用独立变量分析算法对一次处理信号进行解混计算的过程包括：上位处理器设定时间窗和窗口移动步长，对一次处理信号的每个通道数据进行统计特征提取，组成m*n的输入序列向量；其中的m为一次处理信号的通道数量，n为单个通道提取的特征数量。3.根据权利要求1所述的基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，所述sEMG信号为16通道的sEMG信号，一次处理信号解混计算后获得的输入序列向量仍为16通道信号。4.根据权利要求1所述的基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，九轴加速度计产生的空间位置和倾角信息包含六个元素，分别为<x0,y0,z0,,,>；其中前三个为手势在空间三维坐标中XYZ方向上的平移量；是俯仰角；为偏航角；为翻滚角。5.根据权利要求4所述的基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，其中Ggest=Mgest*Rx*Ry*Rz+<x0,y0,z0>；且；其中的Mgest为输出序列向量的关键点坐标生成的s*3的矩阵。6.根据权利要求1所述的基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，深度学习模型的训练过程为：2CN115050104A权利要求书2/2页通过信号采集硬件结合上位处理器获取输入序列向量以及输出序列向量；将输入序列向量以及输出序列向量作为深度学习模型的输入以及输出，并对深度学习模型进行训练，建立输入序列向量与输出序列向量的映射关系；其中的深度学习模型可以为循环神经网络RNN或卷积神经网络CNN。7.根据权利要求6所述的基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，信号采集硬件包括肌电臂环和视频拍摄模块；所述肌电臂环包括微处理器、采集芯片、无线传输模块、九轴加速度计以及若干电极模块；所述微处理器为STM32H743微处理器，所述采集芯片为WLS128芯片；无线传输模块为蓝牙模块；其中的电极模块为16个；每个电极模