一种基于双目视觉的人体姿态定位方法、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113850865A(43)申请公布日2021.12.28(21)申请号202111131004.XG06T17/00(2006.01)(22)申请日2021.09.26G01B11/00(2006.01)(71)申请人北京欧比邻科技有限公司地址100194北京市海淀区苏家坨镇绿地中央广场林风二路39号院4号楼1001(72)发明人李金芝孔祥明(74)专利代理机构北京中济纬天专利代理有限公司11429代理人张莹(51)Int.Cl.G06T7/73(2017.01)G06T7/277(2017.01)G06T7/80(2017.01)G06T7/136(2017.01)G06N3/08(2006.01)权利要求书2页说明书10页附图5页(54)发明名称一种基于双目视觉的人体姿态定位方法、系统和存储介质(57)摘要本发明公开了一种基于双目视觉的人体姿态定位方法、系统和存储介质，属于视觉位置定位技术领域。它包括以下步骤：S1、对双目相机进行校正，以获取无畸变图像；S2、对二维图像中的人体关键点检测；S3、对检测出的人体关键点的像素坐标进行三维重建；S4、通过卡尔曼滤波根据上一时刻得到的人体的三维空间坐标预测当前时刻缺失的人体的三维空间坐标；S5、输出最终的人体的关键点坐标。采用双目相机各自提取到的人体关键点，利用三角测量原理重建出三维关键点坐标，对于可能缺失的关键点采用卡尔曼滤波进行预测出，利用这个三维坐标可以得到关键点的准确位置，以及每帧图像之间或者一段时间内关键点移动的准确距离等信息。CN113850865ACN113850865A权利要求书1/2页1.一种基于双目视觉的人体姿态定位方法，其特征在于，包括以下步骤：S1、采用标定方法来获取双目相机的内外参数及其畸变参数，并根据上述参数对双目相机进行图像的校正，以获取无畸变图像；S2、对二维图像中的人体关键点检测，其中所述的人体关键点检测采用深度学习的预测算法，具体为预先训练待检测的人体关键点的权重参数，随后对校正之后的图像进行人体关键点的识别，得到双目相机的人体关键点的像素坐标；S3、对检测出的人体关键点的像素坐标进行三维重建，其中人体关键点的像素坐标为二维关键点坐标，利用三角测量原理重建出三维空间坐标，即三维点云坐标；S4、通过卡尔曼滤波，根据上一时刻得到的人体的三维空间坐标预测当前时刻缺失的人体的三维空间坐标；S5、输出最终的人体的关键点坐标。2.根据权利要求1所述的基于双目视觉的人体姿态定位方法，其特征在于，步骤S2中，所述深度学习的预测算法如下：式中，N表示选定关键点的数量，Fcls表示预测评价函数，exp表示以自然常数e为底的指数函数，pr表示预测样本网络输出概率，pN+1表示预测背景网络输出概率，pi表示第i个预测测试网络输出概率。3.根据权利要求1所述的基于双目视觉的人体姿态定位方法，其特征在于，步骤S4中，卡尔曼滤波的优化算法如下：式中，γ表示目标滤波参数值，LAD表示A点与D点之间的权重值，LBE表示B点与E点之间的权重值，θ1表示A点与D点之间的夹角值，θ2表示B点与E点之间的权重值，Dab表示a点与b点之间绝对位置值。4.根据权利要求1所述的基于双目视觉的人体姿态定位方法，其特征在于，其中，所述S1中采用标定方法来获取双目相机的内外参数及其畸变参数的步骤，具体包括：S11、准备黑白棋盘格的标定板，其中黑白棋盘格的大小为20mm；S12、双目相机的左右相机分别对黑白棋盘格的标定板采集20张不同角度的图像；S13、提取图像中标定板角点坐标，得到图像像素的二维坐标；S14、对于标定板图像中的角点给定空间三维坐标；S15、根据黑白棋盘格内角点的空间三维坐标和图像二维坐标计算出双目相机的内外参矩阵和畸变系数。5.根据权利要求1所述的基于双目视觉的人体姿态定位方法，其特征在于，其中，所述步骤S1中，获取无畸变图像的具体步骤，包括：S111、通过双目相机的左右相机的内参矩阵、畸变系数得到矫正的旋转矩阵R和投影矩阵P；2CN113850865A权利要求书2/2页S112、通过旋转矩阵R和投影矩阵P计算出校正图像需要的映射矩阵；S113、通过映射矩阵得到无畸变图像。6.根据权利要求1所述的基于双目视觉的人体姿态定位方法，其特征在于，其中，步骤S2中，所述的对校正之后的图像进行人体关键点的识别，其中识别步骤如下：S21、将双目相机的左相机校正的图像送入姿态识别神经网络，得到人体的总共136个关键点；S22、同理，将双目相机的右相机矫正之后的图像送入姿态识别神经网络，得到人体的总共136个关键点；S23、用左右相机各自得到的136个二维图像人体关键点根据三角测量原理重建出人体三维空间坐标。7.根据权利