一种基于单目摄像头的人体三维姿态估计的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108648203A(43)申请公布日2018.10.12(21)申请号201810369660.5(22)申请日2018.04.24(71)申请人上海工程技术大学地址201620上海市松江区龙腾路333号(72)发明人吴晨谋方志军黄正能钱小瑞(74)专利代理机构上海唯智赢专利代理事务所(普通合伙)31293代理人姜晓艳刘朵朵(51)Int.Cl.G06T7/13(2017.01)G06T7/11(2017.01)G06T7/136(2017.01)G06T7/246(2017.01)G06T7/62(2017.01)G06T7/90(2017.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于单目摄像头的人体三维姿态估计的方法(57)摘要本发明属于计算机视觉的技术领域，公开了一种基于单目摄像头的人体三维姿态估计的方法，包括以下步骤：步骤一、基于正常人体的标准比例数据建立三维人体模型，基于弱透视投影方法，获取所述三维人体模型的二维投影；步骤二、利用单目摄像头获取运动中人体的视频，并提取所述视频的每帧人体图像的二维轮廓特征；步骤三、将每帧所述人体图像的二维轮廓特征和三维人体模型的二维投影进行匹配，建立代价函数，并计算所述代价函数的最优解，从而获得最匹配的三维模型。本发明的方法克服了一般生成式模型方法对生成模型的高要求，能够广泛适应于不同姿态、不同形体的人体对象的姿态和尺寸估计，并具有较强的适应性和鲁棒性的特点。CN108648203ACN108648203A权利要求书1/2页1.一种基于单目摄像头的人体三维姿态估计的方法，其特征在于包括以下步骤：步骤一、基于正常人体的标准比例数据建立三维人体模型，基于弱透视投影方法，获取所述三维人体模型的二维投影；步骤二、利用单目摄像头获取运动中人体的视频，并提取所述视频的每帧人体图像的二维轮廓特征；步骤三、将每帧所述人体图像的二维轮廓特征和三维人体模型的二维投影进行匹配，建立代价函数，并计算所述代价函数的最优解，从而获得最匹配的三维人体模型。2.根据权利要求1所述的基于单目摄像头的人体三维姿态估计的方法，其特征在于：所述步骤一中的三维人体模型包括头部、躯干、左臂、左手掌，右臂和右手掌，设置有40个自由度，其中，25个自由度用于调整人体模型的整体缩放、旋转角度和关节角度，15个自由度用于调整人体模型各个部位的长度和宽度。3.根据权利要求1所述的基于单目摄像头的人体三维姿态估计的方法，其特征在于所述步骤二中的提取方法包括以下步骤：步骤Ⅰ、采用Sobel算法对每帧所述人体图像做边缘检测，获得边缘特征Imedge；步骤Ⅱ、在每帧所述人体图像的选定HSV彩色空间中的指定区域中，建立肤色检测模型，再进行颜色阈值分割，得到肤色图像，利用如下方程式，获得肤色特征Imskin，其中，表示为当前一帧的人体图像中检测得到的肤色图像，表示为后一帧的人体图像中检测得到的肤色图像，表示为前两帧的人体图像做差分处理后得到的图像，表示为后两帧的人体图像做差分处理后得到的图像，∪表示为或运算，∩表示为与运算；步骤Ⅲ、利用如下方程式，获得所述人体图像的二维轮廓特征ImsilhouetteImsilhouette＝Imsubtraction∪Imedge∪Imskin其中，Imsubtraction表示为差分特征，由当前帧和前一帧的人体图像做背景差分所得到的，Imedge表示为边缘特征，Imskin表示为肤色特征，∪表示为或运算。4.根据权利要求3所述的基于单目摄像头的人体三维姿态估计的方法，其特征在于：所述指定区域设置为色调H介于[5，25]之间，饱和度S介于[50，200]之间，亮度V介于[20，200]之间。5.根据权利要求1所述的基于单目摄像头的人体三维姿态估计的方法，其特征在于所述步骤三中建立代价函数的方法包括以下步骤：步骤ⅰ、利用如下方程式，计算得到边缘分数、运动估计分数、投影分数和手臂分数即Sedge、Smotion、Ssilhouette、Sarm，其中，n表示针对每帧所述人体图像，三维人体模型的随机调整次数，(i,j)表示针对边2CN108648203A权利要求书2/2页缘分数、运动估计分数、投影分数和手臂分数，对应的三维人体模型需要调整的部分的几何中心，O(i,j)表示所述需要调整的部分的运动轨迹，Area(O(i,j))表示所述需要调整的部分的运动轨迹的面积或者长度，对于Sedge，α表示每帧所述人体图像的边缘特征，β表示三维人体模型的二维投影的边缘特征，Ik(α,β)＝Nand(α,β)，其中，Nand表示每次随机调整后，α和β先做与运算再做非运算，对于Ssilhouette，α表示每帧所述人体图像的轮廓特征，β表示三