一种基于WiFi信道状态信息成像的人体动作识别方法、系统、设备及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830705A(43)申请公布日2023.03.21(21)申请号202211413940.4(22)申请日2022.11.11(71)申请人南京林业大学地址210037江苏省南京市龙蟠路159号(72)发明人焦万果张昌盛唐瑞丁富贵王继远(74)专利代理机构南京联卓知识产权代理有限公司32597专利代理师袁慧(51)Int.Cl.G06V40/20(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)H04B17/309(2015.01)权利要求书3页说明书7页附图3页(54)发明名称一种基于WiFi信道状态信息成像的人体动作识别方法、系统、设备及可读存储介质(57)摘要本发明公开了一种基于WiFi信道状态信息成像的人体动作识别方法、系统、设备及可读存储介质，方法包括：采集WiFi信道状态信息，并提取信道状态信息中随时间变化的幅度信息；基于随时间变化的幅度信息构建格拉姆角差场矩阵，并将之转换为格拉姆角差场图像；将图像数据输入卷积神经网络模型提取图像特征，输出识别结果，其中卷积神经网络包括四个卷积层，每个卷积层之后都有一个批量归一化层和一个整流线性单元层，在整流线性单元层之后，使用最大池化层提取相邻区域的主要特征，在第四次卷积后使用一个自适应平均池化层来指定特征向量的输出大小，在自适应平均池化层之后是一个带有Dropout层和线性层的分类器。本发明实现了以更低的模型复杂度实现更高的活动识别精度。CN115830705ACN115830705A权利要求书1/3页1.一种基于WiFi信道状态信息成像的人体动作识别方法，其特征在于，包括以下步骤：采集WiFi信道状态信息，并提取信道状态信息中随时间变化的幅度信息；基于所述随时间变化的幅度信息构建格拉姆角差场矩阵，将格拉姆角差场矩阵转换为格拉姆角差场图像；将格拉姆角差场图像数据输入卷积神经网络模型提取图像特征，输出识别结果，其中所述卷积神经网络包括四个卷积层，每个卷积层之后都有一个批量归一化层和一个整流线性单元层，在整流线性单元层之后，使用最大池化层提取相邻区域的主要特征，在第四次卷积后使用一个自适应平均池化层来指定特征向量的输出大小，在自适应平均池化层之后是一个带有Dropout层和线性层的分类器。2.根据权利要求1所述的方法，其特征在于，采集WiFi信道状态信息，并提取信道状态信息中随时间变化的幅度信息包括：在采样时间T内获取接收天线接收的数据，将给定子载波频率下随时间变化的CSI值称为CSI流，表示为[H]1×T，每个元素由复数形式a+bi表示，对复数求模得到对应时刻的幅度值，对任一天线和子载波的CSI幅度信息表示为3.根据权利要求2所述的方法，其特征在于，基于所述随时间变化的幅度信息构建格拉姆角差场矩阵包括：使用归一化方法，将缩放到0‑1区间；使用反三角余弦函数求时间戳t处CSI幅度值的对应角度:利用正弦函数两角差表示原始任意两时间戳i和j对应的幅度关系，公式表示为：生成格拉姆角差场矩阵表示为：矩阵中每个元素表示两时间戳对应的幅度关系。4.根据权利要求1所述的方法，其特征在于，卷积神经网络的训练过程如下：利用卷积层对格拉姆角差场图像提取特征，对于图像上的一个点，使卷积核的原点与该点重合，然后将卷积核上的点与图像上的对应点相乘，将这些点的乘积相加，得到该点的卷积值；卷积层后，计算批次的平均值和方差对卷积层的输入xi进行归一化计算使用ReLU层对每个输入元素执行阈值操作：将任何小于零的值设置为零，并让任何大于零的值保持不变；使用最大池层和自适应平均池层分别提取张量周围矩形区域的最大值和平均值；采用交叉熵损失函数计算损耗值，将全连接层的输出转换为期望输出类的概率分布，2CN115830705A权利要求书2/3页对应最大概率值的某一类即判断为真实标签。5.根据权利要求4所述的方法，其特征在于，在卷积神经网络反向传播期间，利用ADAM算法作为优化器，引导损失函数参数在正确的方向上进行更新，使得更新后的参数保持损失函数值接近全局最小值。6.一种基于WiFi信道状态信息成像的人体动作识别系统，其特征在于，包括：数据采集模块，用于采集WiFi信道状态信息，并提取信道状态信息中随时间变化的幅度信息；数据转换模块，用于基于所述随时间变化的幅度信息构建格拉姆角差场矩阵，将格拉姆角差场矩阵转换为格拉姆角差场图像；动作识别模块，用于将格拉姆角差场图像数据输入卷积神经网络模型提取图像特征，输出识别结果，其中所述卷积神经网络包括四个卷积层，每个卷积层之后都有一个批量归一化层和一个整流线性单元层，在整流线性单元层之后，使用最大池化层提取相邻区域的主要特征，在第四次卷积