轻量化卷积网络的三维人体姿态估计方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909399A(43)申请公布日2023.04.04(21)申请号202211425169.2(22)申请日2022.11.14(71)申请人华侨大学地址362000福建省泉州市城华北路269号(72)发明人高振国范丽玲范威威郑智超蒋坤良洪欣林昌龙骆炎民(74)专利代理机构泉州市文华专利代理有限公司35205专利代理师陈雪莹(51)Int.Cl.G06V40/10(2022.01)G06V20/64(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)权利要求书2页说明书5页附图3页(54)发明名称轻量化卷积网络的三维人体姿态估计方法和装置(57)摘要本发明一种轻量化卷积网络的三维人体姿态估计的方法，采用多个深度可分离空洞残差卷积模块串联组成多层渐进结构的主干网络，利用不同尺度的升维模块、深度可分离空洞残差卷积模块形成多阶段精细化监督，将输入一段二维人体关节序列，输出为一段对应输入二维关节坐标的三维人体坐标序列。本发明采用深度可分离空洞残差卷积模块和多阶段精细化提取特征来实现二维人体姿态到三维人体姿态的映射，能解决三维人体姿态估计任务所带来的深度模糊和不适定性问题并提高估计精度。CN115909399ACN115909399A权利要求书1/2页1.一种轻量化卷积网络的三维人体姿态估计的方法，其特征在于：采用多个深度可分离空洞残差卷积模块串联组成多层渐进结构的主干网络，利用不同尺度的升维模块、深度可分离空洞残差卷积模块形成多阶段精细化监督，将输入一段二维人体关节序列，输出为一段对应输入二维关节坐标的三维人体坐标序列。2.根据权利要求1所述的轻量化卷积网络的三维人体姿态估计的方法，其特征在于包括如下步骤：步骤1、假设给定二维人体关节坐标序列为243帧，通过升维卷积模块对输入的人体二维关节坐标序列进行不同尺度的升维处理，首先执行不同尺度的升维卷积模块，该升维卷积模块由切片函数、卷积核为3、步长为3、通道数为1024的一维卷积、批量规范化、Mish激活函数以及随机失活组成，对输入的人体二维关节坐标序列进行不同尺度的升维处理后，分别输出特征尺度为81*1024、27*1024、9*1024以及3*1024的处理结果；步骤2、采用残差连接将输出的不同尺度的升维结果分别融合至由多层深度可分离空洞残差卷积模块串联组成的四层渐进网络结构各层中，形成多阶段监督，通过多个深度可分离空洞残差卷积模块串联构建多层渐进层结构来增强模型深度；所述深度可分离空洞残差卷积模块中，首先执行深度可分离空洞残差卷积，该卷积由卷积核为1的一维卷积、批量规范化以及Mish激活函数组成的点卷积模块和卷积核为w且扩张因子为d＝wb的逐通道卷积、批量规范化、Mish激活函数和随机失活组成的空洞逐通道卷积模块执行，并在点卷积模块和空洞逐通道卷积模块之间采用切片函数进行残差连接，实现深度可分离空洞残差卷积，通过切片函数得到前后卷积维度匹配的信息特征，在避免过拟合的同时防止网络退化问题，然后再执行一个点卷积模块和随机失活函数，融合卷积各通道信息并输出；步骤3、为了进一步挖掘浅层网络的特征价值，将第一层升维卷积模块和第一层深度可分离空洞残差卷积模块输出的浅层特征，分别输出给深度可分离跨步残差卷积模块做降维处理，并对浅层特征进一步优化提炼输出深层特征；第一层升维卷积模块的输出结果经过深度可分离跨步残差卷积模块降维处理后的输出，分别输入至第三层和第四层深度可分离空洞残差卷积模块中，第一层深度可分离空洞残差卷积模块的输出结果经过深度可分离跨步残差卷积模块降维处理后输出，再输入至第四层深度可分离空洞残差卷积模块中，由残差连接连接浅层特征输出和深层特征输入，实现精细化监督；该深度可分离跨步残差卷积模块与深度可分离空洞残差卷积模块的区别在于扩张因子设置和步长设置；在深度可分离跨步残差卷积模块中不采用空洞卷积，设置步长为3，扩张因子为1；步骤4、第四层深度可分离空洞残差卷积模块输出结果至全连接层，通过全连接层卷积融合网络累加的所有特征信息，并将通道数1024降维至51，最终输出得到1*3*17的三维人体姿态估计结果。3.根据权利要求1所述的一种轻量化卷积网络的三维人体姿态估计的方法，其特征在于，所述对输入二维人体关节坐标序列做不同尺度的升维处理，具体表示为：kkkkkF1＝SLICE(X)+ACN(X)其中，Xk表示二维人体关节序列，ACNk表示升维卷积模块，SLICEk表示切片函数模块，k表示第k次升维处理。2CN115909399A权利要求书2/2页4.根据权利要求2所述的一种轻量化卷积网络的三维人体姿态估计的方法，其特征在于，所述人体姿态的深度可分离空洞残差模块提取姿态表示为：其中,X