行为识别方法、装置、计算机设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110610154A(43)申请公布日2019.12.24(21)申请号201910854292.8(22)申请日2019.09.10(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人韦阳光张文硕(74)专利代理机构北京华进京联知识产权代理有限公司11606代理人乔改利(51)Int.Cl.G06K9/00(2006.01)权利要求书2页说明书9页附图4页(54)发明名称行为识别方法、装置、计算机设备和存储介质(57)摘要本发明涉及一种行为识别方法、装置、计算机设备和存储介质。该方法通过获取人体行为的视频图像，并对对该视频图像进行图像处理，得到视频图像的高层语义特征图和视频图像中人体关节点的热力图，再进一步的根据高层语义特征图和人体关节点的热力图，确定视频图像的注意力增强特征图。然后将注意力增强特征图输入至行为识别网络，得到人体行为的识别结果。在上述行为识别方法中，由于加入了骨架检测网络检测视频图像中的人体关节点，然后利用人体关节点来加强高层语义特征图中的表示人体行为的特征，使本申请提出的行为识别方法，相比于传统的行为识别方法，尤其针对于背景环境较复杂的视频图像的识别，其识别准确性较高。CN110610154ACN110610154A权利要求书1/2页1.一种行为识别方法，其特征在于，所述方法包括：获取人体行为的视频图像；对所述视频图像进行图像处理，得到所述视频图像的高层语义特征图和所述视频图像中人体关节点的热力图；所述人体关节点的热力图反映所述视频图像中各人体的姿态位置；根据所述高层语义特征图和所述人体关节点的热力图，确定所述视频图像的注意力增强特征图；所述注意力增强特征图表示所述高层语义特征图中人体关节点对应的特征值被增强后的特征图；将所述注意力增强特征图输入至行为识别网络，得到所述人体行为的识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述视频图像进行图像处理，得到所述视频图像的高层语义特征图，包括：将所述视频图像输入至卷积神经网络进行特征提取，得到所述视频图像的高层语义特征图。3.根据权利要求2所述的方法，其特征在于，所述将所述视频图像输入至卷积神经网络进行特征提取，得到所述视频图像的高层语义特征图，包括：从所述视频图像中提取出连续帧的视频图像；将所述连续帧的视频图像输入至所述卷积神经网络进行特征提取，得到所述视频图像的高层语义特征图。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述对所述视频图像进行图像处理，得到所述人体关节点的热力图，包括：将所述视频图像输入至骨架检测网络进行关节点检测，得到所述人体关节点的热力图。5.根据权利要求4所述的方法，其特征在于，所述将所述视频图像输入至骨架检测网络进行关节点检测，得到所述人体行为关节点的热力图，包括：从所述视频图像中提取出中间关键帧图像；将所述中间关键帧图像输入至所述骨架检测网络，得到所述人体关节点的热力图。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述高层语义特征图和所述人体关节点的热力图，确定所述视频图像的注意力增强特征图，包括：将所述视频高层语义特征图和所述人体关节点的热力图进行乘法运算，得到所述注意力增强特征图。7.根据权利要求6所述的方法，其特征在于，所述根据所述高层语义特征图和所述人体关节点的热力图，确定所述视频图像的注意力增强特征图之前，还包括：对所述高层语义特征图进行预设倍数的下采样，得到与所述人体关节点的热力图尺寸相同的高层语义特征图。8.一种行为识别的识别网络，其特征在于，所述识别网络应用如上权利要求1-7任一项所述的行为识别方法，所述识别网络包括：第一提取模块、3D卷积神经网络、第二提取模块、骨架检测网络、乘法器、行为识别网络；所述第一提取模块用于从输入的视频图像中提取出连续帧图像；所述3D卷积神经网络用于对所述连续帧图像进行语义特征提取，得到所述连续帧图像2CN110610154A权利要求书2/2页的高层语义特征图；所述第二提取模块用于从输入的所述视频图像中提取出中间关键帧图像；所述骨架检测网络用于对所述中间关键帧图像进行人体关节点的检测，得到所述中间关键帧图像对应的人体关节点的热力图；所述乘法器用于将所述高层语义特征图和所述人体关节点的热力图相乘，得到注意力增强特征图；所述行为识别网络用于对所述注意力增强特征图进行行为识别，得到行为识别结果。9.一种行为识别装置，其特征在于，所述装置包括：获取模块，用于获取人体行为的视频图像；处理模块，用于对所述视频图像进行图像处理，得到所述视频图像的高层语义特征图和所述视频图像中人体关节点的热力图；所述人体关节点的热力图反