一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113837131A(43)申请公布日2021.12.24(21)申请号202111150695.8G06N3/08(2006.01)(22)申请日2021.09.29(71)申请人南京邮电大学地址210003江苏省南京市鼓楼区新模范马路66号(72)发明人韩崇韩磊王菁孙力娟郭剑王娟陈入钰相亚杉(74)专利代理机构南京正联知识产权代理有限公司32243代理人张玉红(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书7页附图3页(54)发明名称一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法(57)摘要一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，采用密度聚类算法对雷达目标的点迹进行处理，有效剔除异常点和无效点，抑制了杂波和噪声，利于提取手势运动特征；采用了信号截取和密度聚类算法的处理，大大减少了数据运算，便于集成在能耗低、体积小的高速处理芯片上；对处理过的距离‑角度图以及距离‑多普勒图进行多尺度变换，提取手掌和手指特征，兼顾手掌整体动作识别的同时，还关注手指的细微动作。融合距离、角度、速度手势运动信息，一定程度上提高了手势识别的准确度和精度。CN113837131ACN113837131A权利要求书1/3页1.一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：具体包含以下步骤：步骤1，FMCW毫米波雷达系统初始化，配置手势采样的参数，包括收发天线对、采样点数、采样时间；步骤2，FMCW毫米波雷达平台对不同手势动作进行采样，获得原始手势回波数据S(m)＝[S1(m),S2(m),…,SN(m)]，其中m，N分别代表毫米波雷达平台设置的采样点数和通道数，原始手势回波信号S(m)由采样点数m和通道数N构成二维矩阵；步骤3，对原始手势回波数据S(m)进行截取筛选，雷达回波信号往往会有较强的杂波，例如静态物体反射、墙体多径，根据手势识别的特性设定相应的手势范围0‑1m，使范围内的手势信号得到显现，范围外的杂波得到剔除，获得有效手势数据SH(m)；步骤4，对有效手势数据SH(m)进行动态信号处理，首先对信号进行杂波抑制，防止噪声和杂波对手势信号提取的干扰，然后在距离‑角度维上做傅里叶变换FFT形成距离‑角度图RAI，在距离‑速度维上做傅里叶变换FFT形成距离‑多普勒图RDI；步骤5，基于DBSCAN密度聚类算法对RAI中的雷达目标点迹进行处理，选取点最多的一个簇，也就是手势轨迹的主体，去掉了无用点，同时减少数据量；步骤6，将RDI和DBSCAN处理完的RAI进行尺度变换，缩放得到不同尺寸的图像RDI’、RAI’，在CNN中有不同的卷积层，将不同尺寸的特征图输入到不同的卷积层中，实现多尺度特征提取；步骤7，RDI和RAI在经过CNN提取特征后得到了两个都为1*64的特征向量记为FRDI和FRAI，将FRDI和FRAI进行特征融合，形成一个2*64的新特征融合图Ffusion；步骤8，Ffusion作为长短期记忆网络LSTM的输入，利用其记忆单元建立手势序列前后信息之间的联系，保留了融合特征在每一步之间的联系，生成最终的时序特征向量T，大小为1*64；步骤9，LSTM提取的时序特征向量T输出到全连接层，映射到数据样本标记空间D；步骤10，最后通过Softmax函数得到概率p，根据最大概率p得到多尺度特征融合后对应的手势类别。2.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：步骤2中，通过FMCW毫米波雷达采集动态手势回波原始信号，设每个调频连续脉冲chirp的周期为t，S为频率增长斜率，τ为信号从雷达到手势然后返回的延迟，f为雷达的载波频率；雷达的发射信号X1表示为：X1＝sin(2πft+πSt·t)接收信号X2为：X2＝sin[2πf(t‑τ)+πS(t‑τ)2]经过混频器和低通滤波器后，输出的中频信号X为：对上式进行一维傅里叶变换得到中频信号的频率为fIF，设手势目标到雷达的距离为d，光速为c，由公式2CN113837131A权利要求书2/3页得所探测目标的距离d为：上述是对一个线性调频脉冲chirp的处理过程，对连续多个chirp进行相同的处理然后拼接成一帧数据。3.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：步骤4中，假设一个物体以v的速度运动，为了识别运动目标，雷达以Tc为间隔连续发送两个chrip信号，则到达接收端两个chrip信号的相位差ω与移动速度v相关为：其中λ为调频信号的波长；距离‑多普勒图RDI即可通