基于并行网络的手势识别方法及其系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953840A(43)申请公布日2023.04.11(21)申请号202211718239.3(22)申请日2022.12.29(71)申请人杭州玉甄数码科技有限公司地址310000浙江省宁波市上城区凤起时代大厦504室-8(72)发明人胡怡王永青(74)专利代理机构北京恒泰铭睿知识产权代理有限公司11642专利代理师胡琳丽(51)Int.Cl.G06V40/20(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)G06N3/08(2023.01)G06N3/0464(2023.01)权利要求书4页说明书11页附图6页(54)发明名称基于并行网络的手势识别方法及其系统(57)摘要本申请公开了一种基于并行网络的手势识别方法及其系统，其采用具有并行子网结构的卷积神经网络模型对单通道表面肌电信号的波形图进行编码以得到第一特征图，并将使用包含嵌入层的上下文编码器对组织阻抗值进行基于全局的上下文语义编码以提取多个特征向量，接着使用卷积神经网络模型对由所述多个特征向量二维排列所得的特征矩阵进行显式空间编码以得到所述多个预定时间点的组织阻抗值在时序维度上的关联的高维隐含特征，也就是第二特征图，融合所述第一特征图和所述第二特征图以得到关联特征图并通过分类器以后，就可以来进行手势识别。通过这样的方式，可以提高手势识别的精准度。CN115953840ACN115953840A权利要求书1/4页1.一种基于并行网络的手势识别方法，其特征在于，包括：训练阶段，包括：通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；将所述单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；将所述多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量；将所述多个特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得第一特征向量和第二特征向量；计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；融合所述第一特征图与所述第二特征图以获得关联特征图；将所述关联特征图通过分类器以获得分类损失函数值；以及计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述第一卷积神经网络和所述第二卷积神经网络；以及推断阶段，包括：通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；将所述单通道表面肌电信号通过经训练完成的所述具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；将所述多个预定时间点的组织阻抗值输入所述包含嵌入层的上下文编码器以获得多个特征向量；将所述多个特征向量进行二维排列为特征矩阵后通过经训练完成的所述第二卷积神经网络以获得第二特征图；融合所述第一特征图与所述第二特征图以获得关联特征图；以及将所述关联特征图通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。2.根据权利要求1所述的基于并行网络的手势识别方法，其特征在于，所述将所述单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图，包括：使用所述第一卷积神经网络的第一子网结构以第一卷积核对输入数据进行处理以生成第一初始特征图；使用所述第二卷积神经网络的第二子网结构以第二卷积核对输入数据进行处理以生2CN115953840A权利要求书2/4页成第二初始特征图，所述第一卷积核与所述第二卷积核具有不同的尺寸；以及融合所述第一初始特征图和所述第二初始特征图以生成所述第一特征图。3.根据权利要求2所述的基于并行网络的手势识别方法，其特征在于，所述将所述多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量，包括：使用所述包含嵌入层的上下文编码器的嵌入层分别将所述多个预定时间点的组织阻抗值转化为输入向量以获得输入向量的序列；以及使用所述包含嵌入层的上下文编码器的转换器对所述输入向量的序列进行基于全局的上下文语义编码以获得所述多个特征向量。4.根据权利要求3所述的基于并行网络的手势识别方法，其特征在于，所述将所述多个