基于多基地雷达微多普勒和卷积神经网络的人体识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108872984A(43)申请公布日2018.11.23(21)申请号201810212392.6(22)申请日2018.03.15(71)申请人清华大学地址100084北京市海淀区清华园1号(72)发明人李刚陈兆希(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人罗文群(51)Int.Cl.G01S13/90(2006.01)G01S7/41(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于多基地雷达微多普勒和卷积神经网络的人体识别方法(57)摘要本发明涉及一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，属于雷达目标识别技术领域。本方法中使用多基地雷，缓解了视角变化带来的回波信号差异，增强了识别鲁棒性，提高了识别准确率。采用卷积神经网络进行数据处理，无需手工设计特征，具有一定通用性且识别正确率性能优异。本方法采用迁移学习技术，在卷积神经网络中利用了RGB光学图像预训练权重，并利用具有类似RGB光学图像的三通道多分辨率时频图作为卷积神经网络的输入，在匹配了预训练权重维度的同时，相比单分辨率时频图提供了更多的信息，本方法能够在多种人体识别任务中取得良好的识别准确率。CN108872984ACN108872984A权利要求书1/2页1.一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，其特征在于该方法包括以下步骤：(1)采集已知种类的人体时域回波信号：采用多基地雷达采集一个已知种类人体的时域回波信号，多基地雷达包含位置各不相同的三个接收节点，三个接收节点同时采集人体的三路时域回波信号s1(t),s2(t),s3(t),其中t为采集时间；(2)生成多分辨率时频图，包括以下步骤：(2a)对三个接收节点分别采集的时域回波信号s1(t),s2(t),s3(t)，采用短时傅里叶变换分别计算三个接收节点中任意节点的时域回波信号sn(t),的多分辨率时频图Sn,k(t,f):其中，自变量t为时间，n为三个接收节点的序号，n＝1,2,3，f为短时傅里叶变换后时域回波信号的多普勒频率，|·|表示取复数的模，j为虚数单位，π为圆周率，hk(t)为三个形式相同但窗长各不相同的短时傅里叶变换窗函数；(2b)对上述多分辨率时频图Sn,k(t,f)取对数，并将取对数后的多分辨率时频图Sn,k(t,f)的最大值归一化为0分贝，设定一个门限θth，在最大值归一化后的多分辨率时频图Sn,k(t,f)中截去小于门限θth的部分，得到三个接收节点的归一化多分辨率时频图(2c)将上述归一化多分辨率时频图的最大值和最小值之差归一化为255，并减去归一化多分辨率时频图的均值，得到三个接收节点中每个接收节点的零均值多分辨率时频图Xn,k(t,f)：(3)构建一个训练数据集：对一个已知种类中的人体进行多次采样，重复上述步骤(1)和步骤(2)，分别得到多个人体种类的多组零均值多分辨率时频图其中，i为对一个已知种类人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3，将第i组零均值的多分辨率时频图与已知人体种类yi构成一个训练样本遍历所有已知种类的人体，重复本步骤，得到所有训练样本将所有训练样本组成一个训练数据集；(4)构建一个如图3所示的卷积神经网络，卷积神经网络包括三个输入，对三个输入分别构造结构相同的第一支路、第二支路和第三支路，三条支路的输入分别为一个三维张量，该三维张量的第一维和第二维分别对应时间和多普勒频率，2CN108872984A权利要求书2/2页每条支路由依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，其中第一卷积层、第二卷积层、第三卷积层、第四卷积层的激活函数均为ReLU，第一卷积层、第二卷积层、第三卷积层的权重在不同支路之间共享，且用RGB光学图像预训练权重对第一卷积层、第二卷积层、第三卷积层的权重进行初始化，第四卷积层的卷积核在第二维上的尺寸与第四卷积层的输入在第二维上的尺寸相等，且第四卷积层在第二维上的补零数为0，上述限制使得第四卷积层的输出在第二维上的尺寸为1；三条支路的输出结果经过融合层求最大值进行融合，后经过依次连接的第五卷积层和第六卷积层计算，其中第五卷积层的激活函数为ReLU，第六卷积层的激活函数为Softmax，第五卷积层和第六卷积层的卷积核在第一维和第二维上的尺寸均为1，且第六卷积层的卷积核数目与待识别人体种类的数目相同，上述限制使得卷积层6的输出在第二维上等于1，在第三维上与人体种类数量相等；将第六卷积层的输出经过时域平均操作，即将第六卷积层的输出沿第一维做算术平均，输出各人体种类的概率分布，