一种基于FMCW雷达的三参数特征融合手势识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109271838A(43)申请公布日2019.01.25(21)申请号201810794392.1(22)申请日2018.07.19(71)申请人重庆邮电大学地址400065重庆市南岸区崇文路2号(72)发明人田增山赵泽东吴金君王勇杨小龙周牧(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书1页说明书7页附图4页(54)发明名称一种基于FMCW雷达的三参数特征融合手势识别方法(57)摘要本发明提出了一种基于FMCW(frequencymodulatedcontinuouswave)雷达的三参数特征融合手势识别方法。首先通过雷达获取不同手势的中频信号，从中得到角度参数、距离参数和多普勒频移参数，并构造对应数据集；其次，将关于角度、距离和多普勒频移的数据集分别送入卷积神经网络中训练，得到特征值并做融合处理；最后，将融合后的特征值送入分类器，得到手势类别。本发明创新地提出多重参数在卷积神经网络中的融合方法，解决了传统识别算法使用条件受限的问题，且最终手势的分类效果优于单一参数。CN109271838ACN109271838A权利要求书1/1页1.一种基于FMCW雷达的三参数特征融合手势识别方法，其特征在于，包括以下步骤：1)设计手掌前推、后拉、左摆、右摆、前后推拉和左右摆动六个手势动作，并采集不同手势动作的FMCW雷达信号数据，将每一种手势动作的数据记为不同类别；2)将发送信号sT(t)和回波信号sR(t)输入到混频器中，得到混频信号sM(t)，混频信号sM(t)经过低通滤波器得到中频信号sIF(t)；3)根据中频信号sIF(t)求解得到雷达目标的距离参数R、角度参数θ和多普勒频移参数；4)将计算得到的距离、角度和多普勒频移进行多帧累积，构造距离-时间图(Range-Time-Map，RTM)、多普勒-时间图(Doppler-Time-Map,DTM)和角度-时间图(Angle-Time-Map,ATM)并归一化处理；5)将步骤四得到的RTM、DTM和ATM同步手势类别标签，构建三维参数数据集；6)将数据集中描述手势动作的RTM、DTM和ATM数据分别送入卷积神经网络模型，进行单个参数的特征提取；7)将步骤六得到的三个特征函数FRTM、FDTM、FATM输入全连接层进行特征融合；8)将融合过后的特征向量Ffusion输入softmax分类器，其输出为不同手势类别；9)将测试手势数据集输入到卷积神经网络中分类，得到手势分类结果y′。2.基于权利要求1中所述的一种基于FMCW雷达的三参数特征融合手势识别方法，其特征在于：所述步骤7)中特征融合的方法，具体包括：7a)将对应RTM、ATM和DTM的三个单参数网络使用全连接层并行处理，融合成为一个端到端的网络，这一部分的输入为RTM、DTM和ATM的fc6层特征函数FRTM、FDTM、FATM；7b)将特征函数以矩阵的形式并行处理，以如下方式融合，得到融合过后的特征函数Ffusion:其中，(a1,a2,…,am)，(b1,b2,…,bm)，(c1,c2,…,cm)分别代表FRTM,FDTM,FATM中对应的特征向量。2CN109271838A说明书1/7页一种基于FMCW雷达的三参数特征融合手势识别方法技术领域[0001]本发明涉及手势识别技术领域，特别涉及一种基于FMCW雷达的三参数特征融合手势识别方法。背景技术[0002]随着当今时代人机交互技术的发展，手势识别已经成人机交互的重要组成部分，其研究发展影响着人机交互的自然性和灵活性，并且在各个领域得到广泛的应用。[0003]传统的人机交互方式依赖于键盘、鼠标等输入设备，无法实现简单、高效、灵活的信息互动。而手势可以直观、有效地表达信息，并且其信息可以传达到视觉系统。近年来，由于电子产品的普及和相关技术的发展，手势识别技术已成为了国内外研究的热点。在家庭娱乐方面，根据用户在游戏环境中左右挥动等动作来控制游戏中的角色，使得用户体验效果更好。而在智能驾驶方面，由于司机在驾驶过程中可能被车载导航系统电话系统分散注意力进而产生危险，为避免此类事件发生可以通过识别驾驶员手势动作完成对导航系统以及车载娱乐系统的控制，提高驾驶的安全性。[0004]目前在手势识别的研究中，传统的手势识别方法主要利用光学摄像头和深度摄像头进行数据采集。光学图像和深度图像可以描述手势纹理、轮廓、形状等信息，但在强光或昏暗光线下效果较差。而雷达传感器可以解决由光线不佳而引起手势识别精度低下的问题，并可保护用户隐私。因此，调频连续波(frequencymodulatedcontinuouswave,FMCW)雷达在手