三维人体姿态检测方法、装置及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035546A(43)申请公布日2022.09.09(21)申请号202210592906.1G06V20/40(2022.01)(22)申请日2022.05.27(71)申请人中国科学院半导体研究所地址100083北京市海淀区清华东路甲35号(72)发明人李卫军孙琳钧卢宝莉吴敏(74)专利代理机构北京路浩知识产权代理有限公司11002专利代理师聂俊伟(51)Int.Cl.G06V40/10(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/25(2022.01)G06V10/82(2022.01)权利要求书2页说明书11页附图4页(54)发明名称三维人体姿态检测方法、装置及电子设备(57)摘要本发明提供一种三维人体姿态检测方法、装置及电子设备，该三维人体姿态检测方法包括：获取双目摄像机同一时刻的左镜头图像和右镜头图像；对左镜头图像和右镜头图像进行二维人体关键点检测，得到左镜头图像和右镜头图像中目标人物的人体关键点；根据左镜头图像和右镜头图像中目标人物的人体关键点计算目标人物在左镜头图像和右镜头图像中的视差；根据视差和双目摄像机的参数计算人体关键点的三维信息，得到目标人物的三维人体姿态数据；将三维人体姿态数据进行人体骨架连接，得到目标人物的三维姿态。本发明实施例提供的方案能够以较低的算力实现3D人体姿态的准确估计。CN115035546ACN115035546A权利要求书1/2页1.一种三维人体姿态检测方法，其特征在于，包括：获取双目摄像机同一时刻的左镜头图像和右镜头图像；对所述左镜头图像和所述右镜头图像进行二维人体关键点检测，得到所述左镜头图像和所述右镜头图像中目标人物的人体关键点；根据所述左镜头图像和所述右镜头图像中目标人物的人体关键点计算所述目标人物在所述左镜头图像和所述右镜头图像中的视差；根据所述视差和所述双目摄像机的参数计算所述人体关键点的三维信息，得到所述目标人物的三维人体姿态数据；将所述三维人体姿态数据进行人体骨架连接，得到所述目标人物的三维姿态。2.根据权利要求1所述的三维人体姿态检测方法，其特征在于，所述对所述左镜头图像和所述右镜头图像进行二维人体关键点检测，得到所述左镜头图像和所述右镜头图像中目标人物的人体关键点包括：对所述左镜头图像和所述右镜头图像进行人脸识别；根据人脸识别结果确定所述左镜头图像和所述右镜头图像中的目标人物的图像，得到第一目标图像和第二目标图像；对所述第一目标图像和所述第二目标图像进行二维人体关键点检测，得到所述左镜头图像和所述右镜头图像中所述目标人物的人体关键点。3.根据权利要求1所述的三维人体姿态检测方法，其特征在于，所述对所述左镜头图像和所述右镜头图像进行二维人体关键点检测，得到所述左镜头图像和所述右镜头图像中目标人物的人体关键点包括：对所述左镜头图像和所述右镜头图像进行二维人体关键点检测，得到所述左镜头图像中的第一人体关键点和所述右镜头图像中的第二人体关键点；基于所述第一人体关键点和所述第二人体关键点确定所述左镜头图像和所述右镜头图像中的人体检测框，得到第一人体检测框和第二人体检测框；获取所述第一人体检测框中的最大人体检测框，将所述最大人体检测框中的人物个体确定为所述目标人物；利用行人再识别从所述第二人体检测框中确定所述最大人体检测框对应的匹配人体检测框；将所述最大人体检测框和所述匹配人体检测框中的人体关键点确定为所述左镜头图像和所述右镜头图像中所述目标人物的人体关键点。4.根据权利要求1所述的三维人体姿态检测方法，其特征在于，在所述将三维人体姿态数据进行人体骨架连接，得到所述目标人物的三维姿态之后，所述三维人体姿态检测方法还包括：将所述目标人物的三维姿态输入至人体三维姿态识别模型，进行基于所述目标人物的三维姿态的姿态识别，得到所述人体三维姿态识别模型输出的姿态识别结果，所述人体三维姿态识别模型基于样本三维姿态和所述样本三维姿态的姿态标签训练得到；输出所述姿态识别结果。5.根据权利要求1所述的三维人体姿态检测方法，其特征在于，在所述获取双目摄像机同一时刻的左镜头图像和右镜头图像之前，所述三维人体姿态检测方法还包括：2CN115035546A权利要求书2/2页对所述双目摄像机进行标定；使用标定后的所述双目摄像机拍摄所述双目摄像机成像范围内的图像。6.根据权利要求1至5中任一项所述的三维人体姿态检测方法，其特征在于，所述人体关键点包括头部、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、躯干、胯部、左膝盖、右膝盖、左脚踝和右脚踝。7.一种三维人体姿态检测装置，其特征在于，包括：采集模块，用于获取双目摄像机同一时刻的左镜头图像和右镜头图像；识别模块，用于对所述左镜头图像