人体姿态估计方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114140831A(43)申请公布日2022.03.04(21)申请号202210113382.3(22)申请日2022.01.30(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人陈盈盈周鲁王金桥王海鑫(74)专利代理机构北京路浩知识产权代理有限公司11002代理人刘亚平(51)Int.Cl.G06V40/10(2022.01)G06V10/40(2022.01)G06V10/74(2022.01)G06V10/774(2022.01)G06K9/62(2022.01)权利要求书2页说明书11页附图7页(54)发明名称人体姿态估计方法、装置、电子设备及存储介质(57)摘要本发明提供一种人体姿态估计方法、装置、电子设备及存储介质，方法包括：获取目标图像；将所述目标图像输入至人体姿态估计模型，得到所述人体姿态估计模型输出的所述目标图像中人体姿态信息；其中，所述人体姿态估计模型，是基于样本行人场景图像进行训练后得到的，用于估计图像中人体姿态信息；所述人体姿态信息包括人体实例及对应的人体关键点位置，通过人体姿态估计模型实现了端到端的人体姿态估计，提升了人体姿态估计的效率。CN114140831ACN114140831A权利要求书1/2页1.一种人体姿态估计方法，其特征在于，所述方法包括：获取目标图像；将所述目标图像输入至人体姿态估计模型，得到所述人体姿态估计模型输出的所述目标图像中人体姿态信息；其中，所述人体姿态估计模型，是基于样本行人场景图像进行训练后得到的，用于估计图像中人体姿态信息；所述人体姿态信息包括人体实例及对应的人体关键点位置。2.根据权利要求1所述的人体姿态估计方法，其特征在于，所述人体姿态估计模型，包括：主干网、上下文特征编码器、检测解码器和姿态解码器；其中，所述主干网，用于提取所述目标图像的图像特征；所述上下文特征编码器，用于采用自注意力机制对所述图像特征进行上下文特征编码，得到编码特征；所述检测解码器，用于检测所述目标图像中各人体实例的人体外接矩形框坐标及第一人体关键点坐标；所述姿态解码器，用于基于各所述人体实例的第一人体关键点坐标在对应的编码特征图上动态采样的特征，确定各所述人体实例的第二人体关键点坐标。3.根据权利要求2所述的人体姿态估计方法，其特征在于，所述将所述目标图像输入至人体姿态估计模型，得到所述人体姿态估计模型输出的所述目标图像中人体姿态信息，包括：将所述目标图像输入至所述主干网，得到所述主干网输出的所述目标图像的图像特征；将所述图像特征输入至所述上下文特征编码器，得到所述上下文特征编码器输出的所述图像特征对应的编码特征；将所述编码特征输入至所述检测解码器，得到所述检测解码器输出的所述目标图像中各所述人体实例的类别因子、人体外接矩形框坐标及第一人体关键点坐标；将所述编码特征输入至所述姿态解码器，得到所述姿态解码器输出的所述目标图像中各所述人体实例的第二人体关键点坐标。4.根据权利要求3所述的人体姿态估计方法，其特征在于，所述将所述编码特征输入到所述上下文特征编码器之前，所述方法还包括：基于所述目标图像对应的位置嵌入向量集合及所述图像特征对应的第一特征序列，确定所述图像特征对应的第二特征序列。5.根据权利要求3所述的人体姿态估计方法，其特征在于，所述将所述编码特征输入至所述姿态解码器之前，所述方法还包括：基于所述检测解码器输出的所述目标图像中各所述人体实例的人体外接矩形框坐标，确定所述编码特征对应的各所述人体实例的编码特征图。6.根据权利要求5所述的人体姿态估计方法，其特征在于，所述将所述编码特征输入至所述姿态解码器，得到所述姿态解码器输出的所述目标图像中各所述人体实例的第二人体关键点坐标，包括：将所述编码特征图输入至所述姿态解码器，所述姿态解码器基于所述检测解码器输出的各所述人体实例的第一人体关键点坐标在对应的所述编码特征图上进行动态采样；2CN114140831A权利要求书2/2页基于所述姿态解码器在对应的所述编码特征图上动态采样的特征，得到所述姿态解码器输出的所述目标图像中各所述人体实例的第二人体关键点坐标。7.根据权利要求1所述的人体姿态估计方法，其特征在于，所述人体姿态估计模型使用的最优二分匹配，是基于所述样本行人场景图像对应的目标集合中的监督真值与所述人体姿态估计模型输出的人体姿态信息之间的相似度；其中，所述最优二分匹配采用公式（1）表示：（1）其中，表示所有监督真值和人体姿态信息匹配方式的集合，表示目标集合中第i个监督真值，表示预测集合中第i个人体姿态信息，表示损失函数。8.一种人体姿态估计装置，其特征在于，所述装置包括：获取模块，用于获取目标图像；姿态估计模块，用