一种时序动作检测方法、装置、存储介质及终端.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114429641A(43)申请公布日2022.05.03(21)申请号202111574171.1G06V10/82(2022.01)(22)申请日2021.12.21G06K9/62(2022.01)G06N3/04(2006.01)(71)申请人特斯联科技集团有限公司G06N3/08(2006.01)地址101100北京市通州区滨惠北一街3号院1号楼1-6室(72)发明人刘斌张睿张先福蒙学文(74)专利代理机构北京辰权知识产权代理有限公司11619代理人李小朋(51)Int.Cl.G06V40/10(2022.01)G06V40/20(2022.01)G06V10/44(2022.01)G06V10/766(2022.01)G06V10/764(2022.01)权利要求书3页说明书13页附图2页(54)发明名称一种时序动作检测方法、装置、存储介质及终端(57)摘要本发明公开了一种时序动作检测方法、装置、存储介质及终端，方法包括：获取动作视频；将动作视频输入到预先训练的动作检测网络中；其中，预先训练的动作检测网络是基于多个局部‑全局融合特征训练生成的，多个局部‑全局融合特征是根据局部自注意力模块和全局自注意力模块构建的；输出动作视频中的时序动作信息。本申请采用了自注意力模块，不仅能保留卷积层在视频中提取的长时序特征的信息，也能在长时序特征上捕获全局特征，从而减少了信息缺失，同时通过局部自注意力模块和全局自注意力模块构建多个局部‑全局融合特征，能对时序视频的上下文信息融合并利用，使得基于多个局部‑全局融合特征训练网络过程中GPU的利用率和计算效率大大提升。CN114429641ACN114429641A权利要求书1/3页1.一种时序动作检测方法，其特征在于，所述方法包括：获取动作视频；将所述动作视频输入到预先训练的动作检测网络中；其中，所述预先训练的动作检测网络是基于多个局部‑全局融合特征训练生成的，所述多个局部‑全局融合特征是根据局部自注意力模块和全局自注意力模块构建的；输出所述动作视频中的时序动作信息。2.根据权利要求1所述的方法，其特征在于，按照以下步骤生成预先训练的动作检测网络，包括：构建动作检测网络；其中，所述动作检测网络至少包括I3D网络、卷积模块、局部自注意力模块、全局自注意力模块、回归模型以及分类模型；获取未剪辑的源视频，并根据所述I3D网络、卷积模块以及未剪辑的源视频生成降维的时序特征；根据所述局部自注意力模块、全局自注意力模块分别与降维的时序特征构建出多个局部融合特征和全局融合特征；将每个局部融合特征与所述全局融合特征分别进行融合，生成多个局部‑全局融合特征；根据所述多个局部‑全局融合特征、回归模型以及分类模型生成多个偏移量参数和动作参数；根据所述多个偏移量参数和动作参数计算所述动作检测网络的目标损失值，并基于所述目标损失值确定是否生成预先训练的动作检测网络。3.根据权利要求2所述的方法，其特征在于，所述根据所述I3D网络、卷积模块以及未剪辑的源视频生成降维的时序特征，包括：在未剪辑的源视频中采样预设时序长度的RGB图和光流图；将所述RGB图和光流图分别输入所述I3D网络中，输出RGB图序列特征和光流图序列特征；将所述光流图序列特征与所述RGB图序列特征进行拼接，得到拼接的时序特征；将拼接的时序特征经过所述卷积模块进行多次卷积，以使所述拼接的时序特征的特征通道降低到预设特征通道后得到降维的时序特征。4.根据权利要求2所述的方法，其特征在于，所述根据所述局部自注意力模块、全局自注意力模块分别与降维的时序特征构建出多个局部融合特征和全局融合特征，包括：通过预先设置的多个不同窗口大小的滑窗在所述降维的时序特征上沿着时序方向滑动，得到多个滑窗特征；将每个滑窗特征依次输入所述局部自注意力模块中，输出每个滑窗局部特征集合；将所述每个滑窗局部特征集合中各局部特征沿着时序方向进行拼接，得到多个局部融合特征；将所述降维的时序特征输入所述全局自注意力模块中，输出全局融合特征。5.根据权利要求2所述的方法，其特征在于，所述根据所述多个局部‑全局融合特征、回归模型以及分类模型生成多个偏移量参数和动作参数，包括：将所述多个目标融合特征并行输入到预先训练的BMN网络中进行提名，输出起始边界2CN114429641A权利要求书2/3页点和结束边界点；根据所述起始边界点和结束边界点得到起始局部区域特征、结束局部区域特征以及主要局部区域特征；将所述起始局部区域特征、结束局部区域特征分别输入到所述回归模型中，输出起始点偏移量和结束点偏移量；将所述起始局部区域特征、结束局部区域特征以及主要局部区域特征拼接后，生成局部区域融合特征；将所述局部区域融合特征输入到所述回归