一种基于无线信号的多人三维姿态估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114219853A(43)申请公布日2022.03.22(21)申请号202111336826.1(22)申请日2021.11.12(71)申请人杭州昌泽信息技术有限公司地址310012浙江省杭州市西湖区文三路199号创业大厦809(72)发明人于水瀛应建新(74)专利代理机构杭州斯可睿专利事务所有限公司33241代理人王利强(51)Int.Cl.G06T7/73(2017.01)G06T3/00(2006.01)G06K9/00(2022.01)G06K9/62(2022.01)权利要求书3页说明书7页附图2页(54)发明名称一种基于无线信号的多人三维姿态估计方法(57)摘要一种基于无线信号的多人三维姿态估计方法，包括以下步骤：步骤一，使用WiFi设备采集信道状态信息CSI信号，使用相机拍摄对应的视频进行监督；步骤二，将视频经过AlphaPose进行处理，输出人体目标框和人体关键点处理生成热力图和目标框图；步骤三，对CSI信号进行预处理；步骤四，将预处理完的CSI信号与视频帧进行对应，将五个CSI数据为一段数据输入CSI‑2D网络进行训练；步骤五，将CSI信号在CSI‑2D模型输出的热力图和目标框图进行处理，回归出每个人体的二维姿态；步骤六，每个人体二维姿态组成视频帧输入到2D‑3D模型并结合二维坐标，生成多人三维姿态。本发明成本较低、精度较高。CN114219853ACN114219853A权利要求书1/3页1.一种基于无线信号的多人三维姿态估计方法，其特征在于，所述方法包括以下步骤：步骤一，使用WiFi设备采集信道状态信息CSI信号，同时使用相机拍摄对应的视频进行监督；步骤二，将视频经过AlphaPose进行处理，输出人体目标框和人体关键点处理生成热力图和目标框图，作为无线信号训练的标注；步骤三，对收集到的信号进行预处理，包括消除两个天线之间的相位偏移、去除CSI信号的异常点和环境噪声，去除静态直流分量；步骤四，将预处理完的CSI信号与视频帧进行对应，将五个CSI数据为一段数据输入CSI‑2D网络进行训练；步骤五，将CSI信号在CSI‑2D模型输出的热力图和目标框图进行处理，回归出每个人体的二维姿态；步骤六，每个人体二维姿态组成视频帧输入到2D‑3D模型并结合二维坐标，生成多人三维姿态。2.如权利要求1所述的一种基于无线信号的多人三维姿态估计方法，其特征在于，所述步骤一的过程如下：1.1在会议室环境中布置收发设备和摄像头，使用两台装有Intel5300网卡的笔记本进行数据收发实验，使用了6根定向天线，将天线3个分成一组，同组天线之间的天线距离为20cm，组成一个类似WiFi路由器设备，一组作为发射器(T)，另一组作为接收器(R)；使用WiFi设备发射频率为100Hz，30个不同频率的子载波信号可以获取不同频率信号的信号衰减和相位变化以了解传播路径的不同尺度的信息，接收端接收到经过目标反射穿透的3×3×30的信道状态信息CSI信号；1.2使用相机拍摄对应的视频，过程为：使用单目RGB摄像头记录20FPS视频帧，四个志愿者参与数据采集，分别有多人、单人的数据进行采集，动作做出包括挥手、拍手、走路、踢腿、下蹲、跳、打拳和握手动作，保存时间戳以便与CSI信号部分进行对应。3.如权利要求1或2所述的一种基于无线信号的多人三维姿态估计方法，其特征在于，所述步骤二中，将AlphaPose输出生成热力图和目标框图的过程为：将视频帧输入AlphaPose模型中生成17个人体关键点和人体目标框位置坐标，生成的关键点坐标经过高斯模糊处理生成热力图张量；生成的目标框坐标经过多尺度变换，使用4个尺度目标框，将这些多尺度变换的目标框坐标分别放在多个图上生成张量，两个张量将作为CSI‑2D模型的标注来监督其学习。4.如权利要求1或2所述的一种基于无线信号的多人三维姿态估计方法，其特征在于，所述步骤三中，对采集数据进行数据预处理过程如下；3.1消除两个天线之间的相位偏移，使用了共轭相乘法来消除相偏：其中，H1(f,t)是天线1的信道状态信息，是天线2的信道状态信息的共轭，H1,S(f)和H2,S(f)分别是其静态路径部分，K和L为多径数，αl(f,t)为l路径上的幅度衰减函数，2CN114219853A权利要求书2/3页为多普勒频移函数；3.2消除环境的噪声；首先使用Hample异常值滤波器去除原始信号最明显的离群点，异常值去除以后使用高性能的基于非线性小波变换软阈值法滤波器对高频噪声进行滤除，其中，当小波系数w的绝对值大于等于给定阈值thr的时候，小波系数w的绝对值减去阈值并乘以sgn函数，而当小波系数w小于给定阈值thr的时候，小波系数置为0；选择标准使用的是启发式阈值