一种基于卷积神经网络的三维微多普勒手势识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108519812A(43)申请公布日2018.09.11(21)申请号201810232707.3(22)申请日2018.03.21(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人崔国龙曾冬冬赵青松黄华宾孔令讲杨晓波张天贤(74)专利代理机构电子科技大学专利中心51203代理人陈一鑫(51)Int.Cl.G06F3/01(2006.01)G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于卷积神经网络的三维微多普勒手势识别方法(57)摘要本发明公开了一种基于卷积神经网络的三维微多普勒手势识别方法，涉及人机交互、无线感知和图像处理领域，具体涉及到使用卷积神经网络对三通道雷达架构探测到的三维微多普勒手势时频图识别方法。该方法首先提出能充分采集手势速度信息的三通道摆放系统架构；使用能量窗统计技术能连续提取有效的手势时域信号；使用时频图合成方式，使得三通道时频图信息可以同时融合处理；设计出经过裁剪并加入SVM层的卷积神经网络，能充分提取图像信息，识别准确率高。CN108519812ACN108519812A权利要求书1/2页1.一种基于卷积神经网络的三维微多普勒手势识别方法，包括以下步骤：步骤1：搭建三通道雷达摆放架构将三个相互独立的自发自收雷达，分别在x、y和z上方向上按照固定角度摆放，作为手势信号获取装置；步骤2：能量窗统计技术提取有效手势信号区域以W为窗口大小W的取值范围为大于等于15ms小于等于25ms，首先分别得到三个雷达在空环境下的信号能量值为Ex、Ey和Ez，之后以相同的窗口大小统计三个雷达的信号能量值，当某个雷达的窗口内信号能量值大于空环境该雷达的信号能量值一定阈值时，认定该窗口内存在手势信号，该阈值根据步骤1中三个雷达的实际情况确定；如果存在手势的窗口后连续Q个窗口都不存在手势信号则认为该手势已经结束，其中Q大于等于43小于等于62，将第一个出现手势的窗口和最后一个出现手势的窗口的这段时间内三个雷达获取的信号时域区域截取出来作为有效手势信号区域；步骤3：时频图合成将步骤2中提取的三个雷达时域手势信号通过短时傅里叶变换得到三张频率随时间分布的时频图，将代表时频图的三个时频图矩阵按行组合，得到列数不变行数增加的合成时频图矩阵；对合成的时频图矩阵使用伪彩色法将灰度时频图转换成为具有RGB的彩色时频图；步骤4：设计卷积神经网络模型将已知的VGG16卷积神经网络的conv1到fc2层作为步骤3得到时频图像的图像特征提取层，合成时频图的特征全部体现在fc2层的4096个特征向量中；之后从4096个特征向量中使用差值法裁剪出1000个最能代表不同手势图像差别的特征向量，再在裁剪出1000个特征的fc2层后接入一个SVM层，由SVM层给出最终识别结果；步骤5：训练卷积神经网络模型首先由多人产生丰富的数据集，将尺寸不一的具有RGB的彩色时频图归一化到指定的大小；之后将不同类别的手势输入步骤4建立的VGG16卷积神经网络，每一张时频图可在fc2层得到4096维特征向量；然后根据所有类别综合得到的特征向量使用差值法，确定M个最能体现类别差距的特征向量；最后由这M个特征向量作为SVM层的输入，采用序列最小最优算法可以训练出SVM模型，其中M的取值为大于等于900小于等于1200；步骤6：使用卷积神经网络模型识别采用步骤1～步骤3相同的方法获取指定大小的具有RGB的彩色时频图，采用步骤4训练出的SVM模型对得到的具有RGB的彩色时频图进行识别，输出识别结果。2.如权利要求1所述的一种基于卷积神经网络的三维微多普勒手势识别方法，其特征在于所述步骤2中W的取值为20ms，Q的取值为50，步骤4中M取值为1000。3.如权利要求1所述的一种基于卷积神经网络的三维微多普勒手势识别方法，其特征在于所述步骤3中使用伪彩色方法将A转换为彩色图像B，其具体使用的方法为：B(m,ω,0)＝0.3*A(m,ω)B(m,ω,1)＝1*A(m,ω)B(m,ω,2)＝0.4*A(m,ω)其中B(m,ω,0)、B(m,ω,1)和B(m,ω,2)分别为彩色图像的R、G、B通道，m表示行，ω表2CN108519812A权利要求书2/2页示列，A(m,ω)表示时频矩阵。4.如权利要求1或3所述的一种基于卷积神经网络的三维微多普勒手势识别方法，其特征在于所述步骤4中采用差值发选择出最能代表不同手势图像差别的M个特征向量，具体方法为：先统计每种类手势的在第L维特征向量的均值：其中g(i)代表第i张图片在第L维的特征值，N表示共有N张图片；然后将各