一种基于视频的无线信号增强与跨目标手势识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963229A(43)申请公布日2022.01.21(21)申请号202111110503.0H04B17/30(2015.01)(22)申请日2021.09.23(71)申请人西北大学地址710069陕西省西安市太白北路229号(72)发明人陈晓江宋凤仪王楠张扬帆李欣怡房鼎益李珂王夫蔚任宇辉(74)专利代理机构西安恒泰知识产权代理事务所61216代理人李婷(51)Int.Cl.G06V10/774(2022.01)G06V20/40(2022.01)G06V40/20(2022.01)G06K9/62(2022.01)权利要求书2页说明书7页附图4页(54)发明名称一种基于视频的无线信号增强与跨目标手势识别方法(57)摘要本发明公开了一种基于视频图像的无线信号增强与人体手势识别方法，首先收集Wi‑Fi链路上手势动作信道状态信息及相应手势视频信息，分别对数据进行预处理。使用MoCoGAN视频生成模型，生成虚拟数据，扩充视频数据集。使用轮廓检测与目标提取算法去除帧集合背景噪声，并利用HMR算法将2D图像转化为3D点云数据，通过参数调整可对人体身高体型进行设置，再次扩充数据集。利用HPR对点云中发射端不可见点进行消除，并通过模拟获得相应部署条件下的Wi‑Fi信号。对收集到的Wi‑Fi信道状态信息数据及相应部署条件下的Wi‑Fi信号，分别提取时频域特征，并建立Wi‑Fi信道状态信息数据手势特征系统分析模型，实现高精度跨目标手势识别。CN113963229ACN113963229A权利要求书1/2页1.一种基于视频的无线信号增强与跨目标手势识别方法，其特征在于：该方法包括以下步骤：步骤一，在监测区域收集手势动作的Wi‑Fi信道状态信息；步骤二，通过对Wi‑Fi信道状态信息数据预处理，消除环境噪声及离群点影响；步骤三，在监测区域收集原始人体手势动作视频数据；步骤四，利用视频生成模型，将原始人体手势动作视频数据随机生成新视频，得到扩充视频数据集；步骤五，通过对扩充视频数据集预处理，得到帧集合；步骤六，通过轮廓检测与目标提取算法，去除背景噪声，提取人体轮廓；步骤七：将帧集合转化为对应的标准人体表面3D点云数据；步骤八：通过参数调整，将标准3D点云数据中恢复出多个不同身高、体型的人体表面3D点云数据集合；步骤九：对人体表面3D点云图像集合进行手势信号模拟，得到在相应部署条件下的Wi‑Fi信号；步骤十，对收集到的Wi‑Fi信道状态信息数据及相应部署条件下的Wi‑Fi信号，分别提取时频域特征；步骤十一，建立模拟无线信号与收集到的Wi‑Fi信道状态信息数据手势特征系统分析模型，完成跨目标的手势识别。2.如权利要求1所述的一种基于视频的无线信号增强与跨目标手势识别方法，其特征在于：所述的步骤二对信道状态信息数据预处理，采取Hampel滤波器进行离群值去除；通过巴特沃斯低通滤波器保留低频段的数据信息消除高频噪声。3.如权利要求1所述的一种基于视频的无线信号增强与跨目标手势识别方法，其特征在于：所述的步骤四视频生成模型为MoCoGAN视频生成模型，MoCoGAN视频生成模型根据原始人体手势动作视频数据生成新视频，并使用两种鉴别器分别鉴别图像及视频帧序列。4.如权利要求1所述种基于视频的无线信号增强与跨目标手势识别方法，其特征在于：所述的步骤七中通过HMR算法将帧集合转化为对应的标准人体表面3D点云数据。5.如权利要求1所述种基于视频的无线信号增强与跨目标手势识别方法，其特征在于：所述的步骤八中人体表面3D点云数据集合中每个点均描述了对应特征目标用户的人体表面信息，至少包括目标用户体型、姿势或方向。6.如权利要求5所述种基于视频的无线信号增强与跨目标手势识别方法，其特征在于：所述的步骤八，还通过采用隐藏点消除算法，将人体表面3D点云数据集合中的扰动信号进行消除，得到人体表面3D点云数据集合中发射端可见的点集合。7.如权利要求6所述种基于视频的无线信号增强与跨目标手势识别方法，其特征在于：所述的对步骤九，对人体表面3D点云图像集合进行手势信号模拟，得到的相应部署条件下的Wi‑Fi信号为：其中M'(t)为人体表面3D点云数据集合中发射端可见的点集合，XT、XR、Xm分别代表发射端、接收端、人体表面反射点，Am、Gm分别代表反射率以及角度；g(XT,XR)表示从发射端XT经视2CN113963229A权利要求书2/2页距路径传播到达接收端XR处的视距信号强度。8.如权利要求1所述种基于视频的无线信号增强与跨目标手势识别方法，其特征在于：所述的步骤十提取时频域特征至少包括最小值、方差、均值、偏度、标准差、峰度、能量、FFT峰值。9.如权利要求1所述种基于视频的无线信号增强与跨目标手