行为识别方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114155594A(43)申请公布日2022.03.08(21)申请号202010823720.3G06V10/774(2022.01)(22)申请日2020.08.17G06V10/82(2022.01)G06K9/62(2022.01)(71)申请人中移（成都）信息通信科技有限公司G06N3/04(2006.01)地址610041四川省成都市中国（四川）自G06N3/08(2006.01)由贸易试验区成都高新区交子大道575号J座6楼申请人中国移动通信集团有限公司(72)发明人孙文超李超张李秋(74)专利代理机构北京东方亿思知识产权代理有限责任公司11258代理人彭琼(51)Int.Cl.G06V40/20(2022.01)G06V10/62(2022.01)G06V10/764(2022.01)权利要求书2页说明书12页附图4页(54)发明名称行为识别方法、装置、设备和存储介质(57)摘要本申请实施例提供了一种行为识别方法、装置、设备和存储介质，该方法包括：获取当前时刻对应的第一图像；在第一图像包含目标对象的情况下，获取当前时刻之后的多帧第二图像；确定多帧第二图像中的包含目标对象的目标图像；在目标图像数量与第二图像数量的比值大于预设阈值的情况下，向正方阵模型输入第一图像和多帧第二图像，得到正方阵图像；向训练好的行为识别模型输入正方阵图像，得到目标对象的行为识别结果。本申请能够解决无法实现目标对象行为的精准识别的问题。CN114155594ACN114155594A权利要求书1/2页1.一种行为识别方法，其特征在于，包括：获取当前时刻对应的第一图像；在所述第一图像包含目标对象的情况下，获取所述当前时刻之后的多帧第二图像；确定所述多帧第二图像中的包含所述目标对象的目标图像；在目标图像数量与第二图像数量的比值大于预设阈值的情况下，向正方阵模型输入所述第一图像和所述多帧第二图像，得到正方阵图像；向训练好的行为识别模型输入所述正方阵图像，得到所述目标对象的行为识别结果。2.根据权利要求1所述的方法，其特征在于，所述正方阵图像包括按照预设排列规则排列的所述第一图像和所述多帧第二图像。3.根据权利要求1所述的方法，其特征在于，所述在所述第一图像包含目标对象的情况下，获取所述当前时刻之后的多帧第二图像，包括：向训练好的目标检测模型输入所述第一图像，得到带有第一边界框的第一图像；根据所述带有第一边界框的第一图像，确定所述第一图像中是否包含所述目标对象；在所述第一图像包含所述目标对象的情况下，获取所述当前时刻之后的N个相邻时刻对应的N帧第二图像，其中，N＝m2-1，m为不小于2的整数。4.根据权利要求3所述的方法，其特征在于，在所述第一图像包含所述目标对象的情况下，所述第一边界框用于标识所述目标对象在所述第一图像中的位置。5.根据权利要求1或3所述的方法，其特征在于，所述确定所述多帧第二图像中的包含所述目标对象的目标图像，包括：向训练好的目标检测模型分别输入所述多帧第二图像，得到多帧带有第二边界框的第二图像；根据每帧带有第二边界框的第二图像，分别计算每帧第二图像对应的边界框质心坐标，得到多个边界框质心坐标；根据所述多个边界框质心坐标，确定所述多帧第二图像中的包含所述目标对象的目标图像。6.根据权利要求5所述的方法，其特征在于，在所述第二图像包含所述目标对象的情况下，所述第二边界框用于标识所述目标对象在所述第二图像中的位置；在所述第二图像包含非目标对象，且不包含所述目标对象的情况下，所述第二边界框用于标识所述非目标对象在所述第二图像中的位置。7.根据权利要求5所述的方法，其特征在于，所述根据所述多个边界框质心坐标，确定所述多帧第二图像中的包含所述目标对象的目标图像，包括：根据所述多个边界框质心坐标，跟踪所述边界框质心坐标的变化情况；根据所述变化情况，确定所述多帧第二图像中的包含所述目标对象的目标图像。8.一种行为识别装置，其特征在于，包括：获取模块，用于获取当前时刻对应的第一图像；所述获取模块，还用于在所述第一图像包含目标对象的情况下，获取所述当前时刻之后的多帧第二图像；确定模块，用于确定所述多帧第二图像中的包含所述目标对象的目标图像；输入模块，用于在目标图像数量与第二图像数量的比值大于预设阈值的情况下，向正2CN114155594A权利要求书2/2页方阵模型输入所述第一图像和所述多帧第二图像，得到正方阵图像；所述输入模块，还用于向训练好的行为识别模型输入所述正方阵图像，得到所述目标对象的行为识别结果。9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所