一种基于二值化神经网络的人体姿态估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114283495A(43)申请公布日2022.04.05(21)申请号202111545793.1G06V10/764(2022.01)(22)申请日2021.12.16G06V10/82(2022.01)(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人王玉峰邢兴润宋新宇丁文锐(74)专利代理机构北京永创新实专利事务所11121代理人易卜(51)Int.Cl.G06V40/20(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/28(2022.01)G06V10/774(2022.01)权利要求书2页说明书8页附图4页(54)发明名称一种基于二值化神经网络的人体姿态估计方法(57)摘要本发明公开了一种基于二值化神经网络的人体姿态估计方法，属于计算机视觉和深度学习的模型压缩领域，首先，收集若干包括人姿态的图片，标记图片中每个人的关键点，逐张输入二维的高斯函数产生概率分布图，作为真实标签；然后，搭建二值化神经网络，逐张输入真实标签，使用改进的二值化的特征提取网络ReActNet进行特征提取；并利用二值化的上采样网络进行上采样，分别输出每个人体关键点的预测热力图；利用各预测热力图与真实标签进行拟合，训练二值化神经网络；最后，基于泰勒展开的坐标预测算法对热力图中每个关键点计算近似估计坐标，映射到真实坐标。本发明理使用二值量化方法实现90％以上的模型压缩比例，同时保持一定的精度。CN114283495ACN114283495A权利要求书1/2页1.一种基于二值化神经网络的人体姿态估计方法，其特征在于，具体步骤为：首先、收集若干包括人姿态的图片，对图片中每个人的各关键点部位分别进行标记，将标记后的图片划分训练集和测试集；将训练集图片逐张输入二维的高斯函数，产生概率分布图，作为各图片对应的真实标签；然后、搭建二值化神经网络，并将训练集的真实标签集合输入二值化神经网络进行拟合训练参数，输出各图像对应的预测热力图；所述的二值化神经网络包括：二值化的主干网络和二值化上采样模块；二值化的主干网络的改进在于：1)、在结构上去掉最后的全局池化层和全连接层，结合二值化上采样模块，实现对人体关键点概率分布的密集预测；2)、在基本模块上，先使用激活函数，然后再进行跳跃连接的加和操作，提高了人体关键点的检测精度；二值化上采样模块具体为：二值化上采样模块作为解码器，采用三个阶段的分组卷积层和二值化卷积模块交替搭建，最后一层为1*1卷积层；每个阶段中，分组卷积层对输入标签图提取的特征图执行上采样操作；然后使用二值化卷积模块进行轻量级的特征提取；最后一层不进行二值量化，实现了模型压缩；最后、将测试集的图片，输入到训练好的二值化神经网络中，输出预测热力图，通过对热力图中每个关键点计算近似估计坐标，实现了神经网络输出的二维特征图到实际坐标的转变；具体步骤为：首先、从预测热力图中找到每个关键点的概率最大值的位置，使用高斯滤波器进行低通滤波，平滑各位置处的峰值；然后、在平滑峰值后的各位置上分别求一次偏导数和二次偏导数，根据近似公式估算各关键点的真实坐标位置；最后、通过映射公式，把真实坐标位置映射到任意分辨率的图像上；其中α是最终图像相对于64x64分辨率特征图的放大倍数，为图像上的最终坐标。2.如权利要求1所述的一种基于二值化神经网络的人体姿态估计方法，其特征在于，所述的每张图片的关键点包括：头、肩膀、胳臂肘、手腕、腰、膝盖和脚。3.如权利要求1所述的一种基于二值化神经网络的人体姿态估计方法，其特征在于，所述的高斯函数计算公式为：其中μ是图片中单个关键点标注的二维坐标，Σ定义了二维高斯函数的协方差矩阵，公式如下:2CN114283495A权利要求书2/2页其中σ是人为设定的超参数，用来控制高斯函数的平滑程度。4.如权利要求1所述的一种基于二值化神经网络的人体姿态估计方法，其特征在于，所述的二值量化具体为：前向传播阶段，符号函数sign(.)在量化前加入了偏移量，偏移量在每个通道上进行权值共享；将全精度特征大于偏移量的值量化为+1，小于等于偏移量的值量化为‑1；原有的sign(.)函数加入了偏移量后表示为Rsign(.)，公式为：其中，αi表示第i个通道的偏移量，表示二值，表示全精度值；在反向传播阶段，将符号函数sign(.)近似成二次函数进行求导，得到梯度后进行反向传播；求导公式为：其中，Qb(·)表示二值量化函数；表示符号函数的估计函数；激活特征图和卷积参数在进行卷积之前均进行二值量化操作，卷积运算用1bit的逻辑运算表示；二值量化操作如下：Z＝Qb(W)*Qb(X)＝bitc