人物交互关系识别方法、装置、电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114170688A(43)申请公布日2022.03.11(21)申请号202210127157.5(22)申请日2022.02.11(71)申请人北京世纪好未来教育科技有限公司地址100086北京市海淀区中关村大街32号蓝天和盛大厦1702-03室(72)发明人陈博高原白锦峰(74)专利代理机构北京合智同创知识产权代理有限公司11545代理人李杰(51)Int.Cl.G06V40/20(2022.01)G06V20/20(2022.01)G06V10/764(2022.01)G06V10/774(2022.01)G06K9/62(2022.01)权利要求书3页说明书12页附图5页(54)发明名称人物交互关系识别方法、装置、电子设备(57)摘要本公开提供一种人物交互关系识别方法、装置、电子设备，包括：识别目标图像中的人体对象和物体对象，获得人体对象的人体特征和物体对象的物体特征，并识别人体对象的动作姿态，获得人体对象的姿态特征；根据人体特征和姿态特征进行融合处理，获得人体对象的融合特征；根据融合特征和物体特征执行人物交互关系预测，获得人体对象与物体对象之间的人物交互关系识别结果。因此，本申请可以提高人物交互关系识别结果的准确性。CN114170688ACN114170688A权利要求书1/3页1.一种人物交互关系识别方法，包括：识别目标图像中的人体对象和物体对象，获得所述人体对象的人体特征和所述物体对象的物体特征，并识别所述人体对象的动作姿态，获得所述人体对象的姿态特征；根据所述人体特征和姿态特征进行融合处理，获得所述人体对象的融合特征；根据所述融合特征和所述物体特征执行人物交互关系预测，获得所述人体对象与所述物体对象之间的人物交互关系识别结果。2.根据权利要求1所述的人物交互关系识别方法，其中，所述识别目标图像中的人体对象和物体对象，获得所述人体对象的人体特征和所述物体对象的物体特征，并识别所述人体对象的动作姿态，获得所述人体对象的姿态特征，包括：识别所述目标图像中每一个对象检测框内的目标对象，获取每一个目标对象的对象特征，并根据每一个目标对象的对象特征执行分类预测，获得所述人体对象的人体特征或所述物体对象的物体特征；检测包含所述人体对象的对象检测框中的人体关键点，获得所述人体对象的关键点位置信息，并根据所述关键点位置信息，获得所述人体对象的姿态特征。3.根据权利要求1所述的人物交互关系识别方法，其中，所述方法还包括：利用多头注意力机制针对所述人体特征和所述物体特征执行增强处理，获得增强的人体特征和增强的物体特征。4.根据权利要求2或3所述的人物交互关系识别方法，其中，所述人体对象的人体特征包括初始人体特征向量，所述物体特征包括初始物体特征向量，所述人体对象的关键点位置信息包括关键点坐标向量；其中，所述方法还包括：基于预设维度，针对所述人体特征的初始人体特征向量和所述初始物体特征向量执行映射处理，获得具有所述预设维度的目标人体特征向量和目标物体特征向量；基于所述预设维度，针对所述关键点坐标向量执行映射处理，获得具有所述预设维度的目标姿态特征向量。5.根据权利要求4所述的人物交互关系识别方法，其中，所述根据所述人体特征和姿态特征进行融合处理，获得所述人体对象的融合特征，包括：针对同一人体对象的目标人体特征向量和目标姿态特征向量执行加和处理，获得所述同一人体对象的融合特征。6.根据权利要求1或5所述的人物交互关系识别方法，其中，所述目标图像包括至少一个人体对象和至少一个物体对象；且其中，所述根据所述融合特征和所述物体特征执行人物交互关系预测，获得所述人体对象与所述物体对象之间的人物交互关系识别结果，包括：根据每一个人体对象的融合特征、每一个物体对象的物体特征，预测每一个人体对象与每一个物体对象之间的关联关系，获得至少一个配对结果，其中，每一个配对结果包含一个人体对象与一个物体对象；根据每一个配对结果中的人体对象的融合特征与物体对象的物体特征，执行人物交互关系预测，获得每一个配对结果的人物交互关系识别结果。7.根据权利要求1所述的人物交互关系识别方法，其中，所述根据所述融合特征和所述2CN114170688A权利要求书2/3页物体特征执行人物交互关系预测，获得所述人体对象与所述物体对象之间的人物交互关系识别结果，包括：根据所述人体对象的融合特征和所述物体对象的物体特征，获得第一动作预测值和交互预测值；根据所述第一动作预测值和所述交互预测值的加权乘积结果，获得所述人体对象和所述物体对象之间的所述人物交互关系识别结果；其中，所述第一动作预测值用于标识所述人体对象和所述物体对象之间发生的交互动作的类别概率，所述交互预测值用于标识所述人体对象和所述物体对象之间的