动作识别方法以及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115294499A(43)申请公布日2022.11.04(21)申请号202210962950.7G06V10/82(2022.01)(22)申请日2022.08.11G06V40/20(2022.01)(71)申请人支付宝（杭州）信息技术有限公司地址310013浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人武文琦(74)专利代理机构北京智信禾专利代理有限公司11637专利代理师赵杰(51)Int.Cl.G06V20/40(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/764(2022.01)G06V10/80(2022.01)权利要求书2页说明书14页附图7页(54)发明名称动作识别方法以及装置(57)摘要本说明书实施例提供动作识别方法以及装置，其中所述动作识别方法包括：将待处理视频输入动作识别模型，并通过所述动作识别模型中的二维卷积网络，对所述待处理视频进行卷积处理，生成对应的第一卷积向量，其中，所述待处理视频中包含目标对象的待识别动作，通过所述动作识别模型中的三维卷积网络，对所述待处理视频及所述第一卷积向量进行卷积处理，生成对应的第二卷积向量，通过所述动作识别模型的分类网络对所述第二卷积向量进行处理，以对所述待识别动作进行识别，生成对应的动作识别结果并输出。CN115294499ACN115294499A权利要求书1/2页1.一种动作识别方法，包括：将待处理视频输入动作识别模型，并通过所述动作识别模型中的二维卷积网络，对所述待处理视频进行卷积处理，生成对应的第一卷积向量，其中，所述待处理视频中包含目标对象的待识别动作；通过所述动作识别模型中的三维卷积网络，对所述待处理视频及所述第一卷积向量进行卷积处理，生成对应的第二卷积向量；通过所述动作识别模型的分类网络对所述第二卷积向量进行处理，以对所述待识别动作进行识别，生成对应的动作识别结果并输出。2.根据权利要求1所述的动作识别方法，所述二维卷积网络包括第一二维卷积层和第二二维卷积层；相应地，所述通过所述动作识别模型中的二维卷积网络，对所述待处理视频进行卷积处理，生成对应的第一卷积向量，包括：通过所述第一二维卷积层，对所述待处理视频进行时序卷积处理，生成第一时序向量，并通过所述第一二维卷积层，对所述待处理视频进行空间卷积处理，生成第一空间向量；将所述第一空间向量及所述第一时序向量进行融合，生成对应的融合结果；通过所述第二二维卷积层对所述融合结果进行卷积处理，生成对应的第一卷积向量。3.根据权利要求2所述的动作识别方法，所述待处理视频包含至少两帧视频帧；相应地，所述通过所述第一二维卷积层，对所述待处理视频进行时序卷积处理，生成第一时序向量，包括：确定所述至少两帧视频帧中任意两帧相邻视频帧对应的光流图像，通过所述第一二维卷积层，对所述光流图像进行时序特征提取，并对特征提取结果进行卷积处理，生成第一时序向量。4.根据权利要求2所述的动作识别方法，所述通过所述第一二维卷积层，对所述待处理视频进行空间卷积处理，生成第一空间向量，包括：通过所述第一二维卷积层，对所述至少两帧视频帧中的目标视频帧进行空间特征提取，并对特征提取结果进行卷积处理，生成第一空间向量。5.根据权利要求4所述的动作识别方法，所述通过所述第一二维卷积层，对所述至少两帧视频帧中的目标视频帧进行空间特征提取，并对特征提取结果进行卷积处理，包括：通过所述第一二维卷积层，对每帧视频帧进行空间特征提取，并根据提取结果确定所述至少两帧视频帧中的目标视频帧；通过所述第一二维卷积层，对所述目标视频帧的空间特征进行卷积处理，生成第一空间向量。6.根据权利要求4所述的动作识别方法，所述通过所述第一二维卷积层，对所述待处理视频进行时序卷积处理，包括：确定所述至少两帧视频帧中、与所述目标视频帧相邻的、预设数量的待处理视频帧，并根据所述目标视频帧与所述待处理视频帧中包含的、所述目标对象的运动信息，确定对应的光流图像；通过所述第一二维卷积层，对所述光流图像进行时序特征提取，并对特征提取结果进行卷积处理。2CN115294499A权利要求书2/2页7.根据权利要求2所述的动作识别方法，所述对所述待处理视频进行时序卷积处理，包括：提取所述待处理视频中目标视频帧的空间特征，并根据预设卷积核及第一预设步长对所述空间特征进行卷积处理，生成第一空间向量；相应地，所述通过所述第二二维卷积层对所述融合结果进行卷积处理，包括：通过所述第二二维卷积层，并根据所述预设卷积核及第二预设步长，对所述融合结果进行卷积处理。8.根据权利要求1至7任意一项所述的动作识别方法，所述三维卷积网络包括第一三维卷积层、第二三维卷积层和第三三维卷积层；相