一种基于可变形卷积的FMCW雷达手势识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112764002A(43)申请公布日2021.05.07(21)申请号202110015494.0G06N3/04(2006.01)(22)申请日2021.01.07G06N3/08(2006.01)G06F17/14(2006.01)(71)申请人北京理工大学重庆创新中心地址401135重庆市渝北区龙兴镇曙光路9号9幢申请人北京理工大学(72)发明人王裕沛董锡超赵泽玮曾涛隋仪王圣元(74)专利代理机构重庆智慧之源知识产权代理事务所(普通合伙)50234代理人高彬(51)Int.Cl.G01S7/41(2006.01)G01S13/58(2006.01)G01S13/88(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于可变形卷积的FMCW雷达手势识别方法(57)摘要本发明提供一种基于可变形卷积的FMCW雷达手势识别方法，通过利用FMCW雷达采集待测手势数据；对待测手势数据进行2D‑FFT处理，得到距离‑多普勒RD图；对距离‑多普勒RD图进行空间维FFT处理，获取角度估计；将距离‑多普勒RD图中的幅值用角度估计替代，生成距离‑速度‑角度信息的RDA图；将RDA图作为输入，利用改进的C3D网络模型，输出得到待测手势的类型；其中，改进的C3D网络模型基于标定的手势类型的雷达数据进行训练得到，其至少一个卷积层包括一路标准卷积结构和一路是可变形卷积残差结构。本方案首先基于雷达数据处理生成RDA)，简洁高效融合手势多维时空特征；同时采用时空可变形卷积，增强了建模能力，改善了手势识别网络的性能。CN112764002ACN112764002A权利要求书1/2页1.一种基于可变形卷积的FMCW雷达手势识别方法，其特征在于，包括：利用FMCW雷达采集待测手势数据；对所述待测手势数据进行2D‑FFT处理，得到距离‑多普勒RD图；对所述距离‑多普勒RD图进行空间维FFT处理，获取角度估计；将所述距离‑多普勒RD图中的幅值用所述角度估计替代，生成距离‑速度‑角度信息的RDA图；将所述RDA图作为输入，利用改进的C3D网络模型，输出得到待测手势的类型；其中，所述改进的C3D网络模型基于标定的手势类型的雷达数据进行训练得到，其至少一个卷积层包括一路标准卷积结构和一路是可变形卷积残差结构。2.如权利要求1所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，在所述对所述待测手势数据进行2D‑FFT处理之前，还包括：对所述待测手势数据进行相邻帧对消和时域补零；所述相邻帧对消指的是用后一帧的雷达信号Xk+1减去前一帧的雷达信号Xk，得到帧差信号X’k。3.如权利要求1所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，在所述将所述距离‑多普勒RD图中的幅值用所述角度估计替代之前，还包括：选取手势活动区域，对所述RD图作固定门限检测，将信号强度值大于门限阈值的分辨单元保留，将小于所述门限阈值的分辨单元的信号强度值设为0。4.如权利要求3所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述门限阈值设置为0.4。5.如权利要求1所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述改进的C3D网络模型改进方法包括：将标准C3D网络的某一卷积层conv4‑1划分为两条支路，第一条支路仍保持为标准卷积与下一卷积层conv4‑2连接,第二条支路为残差结构的可变形卷积；对两条支路各自输出的特征图X1、X2在通道维进行拼接，之后经过一个卷积核大小为1x1x1的卷积层conv4‑3，调整输出通道数与下一卷积层conv5‑1输入通道数一致。6.如权利要求5所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述改进的C3D网络模型改进方法还包括：将所述卷积层conv5‑1划分为两条支路，第一条支路仍保持为标准卷积与下一卷积层conv5‑2连接,第二条支路为残差结构的可变形卷积；对两条支路各自输出的特征图X3、X4在通道维进行拼接，之后经过一个卷积核大小为1x1x1的卷积层conv5‑3,调整输出通道数与下面的池化层输入通道数一致。7.如权利要求1‑6任一项所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述标准卷积结构为：其中p0表示输出特征图上任意位置，pn表示采样区域中的第n个采样点，w(pn)表示pn的权重；可变形卷积残差结构为：2CN112764002A权利要求书2/2页所述Δpn表示pn的偏移量，由卷积核大小为3x3x3的卷积层学习得到。8.如权利要求7所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述手势类型包括：左划、右划、左右划、推右、推拉、前推、后移、右左划、推左、拉推。3CN112764