基于深度可分离空洞时序卷积的三维人体姿态估计方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115578751A(43)申请公布日2023.01.06(21)申请号202211104605.6G06V10/77(2022.01)(22)申请日2022.09.09G06V10/82(2022.01)G06N3/04(2006.01)(71)申请人华侨大学G06N3/08(2006.01)地址362000福建省泉州市城华北路269号华侨大学(72)发明人高振国范丽玲范威威郑智超蒋坤良洪欣林昌龙骆炎民(74)专利代理机构泉州市文华专利代理有限公司35205专利代理师陈雪莹(51)Int.Cl.G06V40/10(2022.01)G06V40/20(2022.01)G06V20/40(2022.01)G06V10/46(2022.01)权利要求书3页说明书7页附图3页(54)发明名称基于深度可分离空洞时序卷积的三维人体姿态估计方法和装置(57)摘要本发明一种基于深度可分离空洞时序卷积的三维人体姿态估计方法和装置，构建T层深度可分离空洞时序卷积模型，通过设置空洞率大小控制模型的感受野；在T层深度可分离空洞时序卷积块的两层卷积中，采用切片函数在两层卷积之间匹配特征维度信息进行残差连接，对矩阵内的数据进行提取特征，将数据原始特征累加到深度可分离空洞时序卷积块的输出当中，从而保留原始数据的特征；改进的改进的深度可分离空洞卷积层先执行点卷积，再执行逐通道卷积，并引进了Mish激活函数提高模型性能，增加了平滑和非单调的特点，本发明在实现降低模型计算复杂度和计算量的同时，提升了模型性能和精度，大幅度降低模型的计算复杂度和模型计算量。CN115578751ACN115578751A权利要求书1/3页1.一种基于深度可分离空洞时序卷积的三维人体姿态估计的方法，其特征在于包括如下步骤：步骤1、对于输入的单目人体运动视频，采用二维姿态检测器提取二维人体关节坐标，并输出二维人体关节坐标预测序列；步骤2、对于输入的二维人体关节坐标预测序列进行升维处理，将输入的J*2个关键点数据升维至1024,J表示预测的人体关节点总数；步骤3、采用T层渐进的深度可分离空洞时序卷积块来构建T层深度可分离空洞时序卷积模型，执行T层深度可分离空洞时序卷积块，通过设置空洞率大小控制模型的感受野；在T层深度可分离空洞时序卷积块的两层卷积中，采用切片函数在两层卷积之间匹配特征维度信息进行残差连接，对矩阵内的数据进行提取特征，将数据原始特征累加到深度可分离空洞时序卷积块的输出当中，从而保留原始数据的特征；上述每个深度可分离空洞时序卷积块由两个卷积层组成，分别为改进的深度可分离空洞卷积层和一维常规卷积层，利用残差连接将两个卷积层连接起来；先执行改进的深度可分离空洞卷积层，再执行一维卷积层，并在一维卷积之后执行批量正则、Mish激活函数和随机失活；在执行完T个深度可分离空洞时序卷积块后再做一次一维卷积，降维得到1*(3*J)的输出数据，该输出数据是表示人体J个关节点的三维坐标数据；上述改进的深度可分离空洞卷积层包括依次进行的逐点卷积、批量正则、激活函数、逐通道卷积、批量正则、激活函数和随机失活；在改进的深度可分离空洞卷积层中，首先执行逐点卷积进行通道信息融合，然后执行逐通道卷积，处理每个通道信息，并在逐点卷积、逐通道卷积之后均执行批量正则、激活函数操作；在获取步骤2的二维人体关节坐标预测序列后，先执行升维卷积，然后执行T个深度可分离空洞时序卷积块，每个深度可分离空洞时序卷积块中，先执行改进的深度可分离空洞卷积层，再执行一维卷积层，在执行完T个深度可分离空洞时序卷积块后，进入降维卷积模块再做一次降维卷积，降维得到1*3*J的输出数据，该输出数据是表示人体J个关节点的三维坐标数据；在深度可分离空洞时序卷积块中，一方面采取切片函数做降维处理，将数据原始特征累加到深度可分离空洞时序卷积时序模块输出中，与原始数据累加形成残差连接，在避免过拟合的同时保留原始特征；另一方面在T‑1个深度可分离空洞时序卷积块的残差连接中，采用切片函数和卷积核大小为1、输出通道数为3*J的降维卷积进一步提炼和优化预测姿态，将结果累加至深度可分离空洞时序卷积时序模型输出中；步骤4、在三维人体姿态估计中，采用中间监督策略，将网络中间变量作为损失函数的一部分，对网络的各级特征进一步优化，累加融合各级特征至输出；步骤5、深度可分离空洞卷积时序模型输出与输入单目人体运动视频相对应的三维人体关节坐标序列，构成可视化的三维人体姿态估计结果。2.根据权利要求1所述的一种基于深度可分离空洞时序卷积的三维人体姿态估计的方法，其特征在于所述步骤2具体为：在输入层获取每帧的J个关节的二维坐标预测序列后，依次执行由一维卷积、批量正则、激活函数以及随机失活组成的升维卷积，假设输入视