用于人体动作识别的特征提取系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887516A(43)申请公布日2022.01.04(21)申请号202111269611.2(22)申请日2021.10.29(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人张成廖建新陈宇琛占怡雯王敬宇戚琦庄子睿王晶(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图2页(54)发明名称用于人体动作识别的特征提取系统和方法(57)摘要用于人体动作识别的特征提取系统，包括如下功能模块：数据扩增模块、动作编码模块、前置任务模块：该模块由空间前置任务子模块和时间前置任务子模块构成和对比学习模块；用于人体动作识别的特征提取方法，包括如下操作步骤：(1)模型训练步骤；(2)特征提取步骤；本发明将前置学习功能和对比学习功能有机结合，使系统能够从未标注的人体骨架序列中，充分提取人体动作特征，并且保留了细粒度时空信息，提高了后续人体动作识别的准确率。CN113887516ACN113887516A权利要求书1/3页1.用于人体动作识别的特征提取系统，其特征在于：所述系统包括如下功能模块：数据扩增模块：在模型训练阶段，该模块的功能是：首先对原始骨架序列进行采样，然后对采样所获得的采样骨架序列进行空间扩增操作，获得空间扩增骨架序列；所述的空间扩增操作包括旋转，切变以及关节点随机扰动；对采样所获得的骨架序列进行时间扩增操作，获得时间扩增骨架序列；所述的时间扩增操作是指对所述的采样骨架序列进行掩码操作；在特征提取阶段，该模块的功能是仅对原始骨架序列进行采样，获得采样骨架序列；动作编码模块：在模型训练阶段，该模块的功能是对所述数据扩增模块所获得的空间扩增骨架序列和时间扩增骨架序列，分别进行编码，获得空间扩增初始动作编码和时间扩增初始动作编码；在特征提取阶段，该模块的功能是对所述数据扩增模块所获得的采样骨架序列进行编码，获得初始动作编码；前置任务模块：该模块由空间前置任务子模块和时间前置任务子模块构成；空间前置任务子模块的功能是：为获取更细粒度的空间信息，把从动作编码模块所获得的空间扩增初始动作编码中的前一半通道数的空间扩增初始动作编码，输入到空间前置任务子模块，生成空间扩增增强动作编码；所述的空间扩增增强动作编码是前述的采样骨架序列的重建序列，与所述的采样骨架序列有相同的帧数和格式；通过上述过程，使得所述的动作编码模块可以更好的更细粒度地提取到采样骨架序列的空间特征信息；时间前置任务子模块的功能是：为获取更细粒度的时间信息，把从动作编码模块所获得的时间扩增初始动作编码中的后一半通道数的时间扩增初始动作编码，输入到时间前置任务子模块，生成时间扩增增强动作编码；所述的时间扩增增强动作编码是前述的采样骨架序列的重建序列，与所述的采样骨架序列有相同的帧数和格式；通过上述过程，使得所述的动作编码模块可以更好的更细粒度地提取到采样骨架序列的时间特征信息；对比学习模块：该模块的功能是：基于对比学习网络，根据前置任务模块所产生的空间扩增增强动作编码和时间扩增增强动作编码，进行动作特征提取。2.根据权利要求1所述的用于人体动作识别的特征提取系统，其特征在于：所述的动作编码模块由多个时空‑图卷积单元ST‑GCN顺序连接构成；所述的空间前置任务子模块由多个时空‑图卷积单元ST‑GCN顺序连接构成；所述的时间前置任务子模块由多个时空‑图卷积单元ST‑GCN顺序连接构成；所述的时空‑图卷积单元ST‑GCN由图卷积网络GCN和时间卷积网络TCN构成。3.根据权利要求1所述的用于人体动作识别的特征提取系统，其特征在于：所述的对比学习模块由时间平均池化层子模块AP和多层感知器MLP子模块构成；时间平均池化层子模块AP的功能是在时间维度上聚合空间扩增增强动作编码和时间扩增增强动作编码的全局信息，进行动作特征提取；多层感知器MLP子模块的功能是将所获得的动作特征投影到对比空间，然后通过最大化对比空间中动作特征之间的余弦相似度来优化动作特征。4.根据权利要求3所述的用于人体动作识别的特征提取系统，其特征在于：所述的多层感知器MLP子模块由两层线性层构成；激活函数采用修正线性函数。5.用于人体动作识别的特征提取方法，其特征在于：所述方法包括如下操作步骤：(1)模型训练步骤，该步骤的主要内容是采用原始骨架序列训练样本，对用于人体动作识别的特征提取系统中的各个模块进行模型训练，训练结束后，获得各个模块的最优参数；2CN113887516A权利要求书2/3页(2)特征提取步骤，该步骤的主要内容是使用训练好的用于人体动作识别的特征提取系统，从原始骨架