一种基于增强现实的智能终端3D手表试戴方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106373085A(43)申请公布日2017.02.01(21)申请号201610832924.7G06T7/12(2017.01)(22)申请日2016.09.20G06Q30/06(2012.01)(71)申请人福州大学地址350002福建省福州市鼓楼区工业路523号(72)发明人陈国栋兰敏超高聪刘波杨志伟(74)专利代理机构福州元创专利商标代理有限公司35100代理人蔡学俊(51)Int.Cl.G06T3/00(2006.01)G06T19/20(2011.01)G06T5/00(2006.01)G06T7/50(2017.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于增强现实的智能终端3D手表试戴方法及系统(57)摘要本发明涉及一种基于增强现实的智能终端3D手表试戴方法及系统，提取出和手部肤色相近的图像信息，通过从背景图中提取的手部图像信息，轮廓提取后进行凸包检测，根据给定的阀值判断是否是手部；再次获取轮廓进行凸包检测，确定手腕处的凸包；根据不同的智能终端设备给定不同的虚拟场景摄像机内部参数，计算手腕的坐标点与虚拟场景摄像机之间相对变换关系：计算得到投影矩阵，使用手腕的坐标点与虚拟场景摄像机之间相对变换关系和投影矩阵将得到的手腕坐标点投影到三维场景中，将手表的3D模型根据投影矩阵投影到三维场景中手腕位置上。本发明不需要使用标识信息的图片，只要拥有一台智能终端，通过摄像头实时获取用户的手腕图像，经过智能终端处理后在屏幕上显示试戴效果。CN106373085ACN106373085A权利要求书1/2页1.一种基于增强现实的智能终端3D手表试戴方法，其特征在于：包括以下步骤：步骤S1：摄像头采集用户的手部图像，采用肤色识别模型提取出和手部肤色相近的图像信息，得到初步提取的手部图像信息；步骤S2：对步骤S1中得到的初步提取的手部图像信息，通过从背景图中提取的手部图像信息，轮廓提取后进行凸包检测，根据给定的阀值判断是否是手部；步骤S3：再次获取轮廓进行凸包检测，得到起始点、结束点和深度点；计算深度点分别到起始点和结束点的长度，计算以深度点为顶点，以起始点和结束点为边的夹角；根据预先设定好的长度和夹角范围判断此凸包是否是手腕处的凸包，若确定为手腕处的凸包，则将此凸包的深度点作为手腕的坐标点；步骤S4：根据不同的智能终端设备给定不同的虚拟场景摄像机内部参数，计算手腕的坐标点与虚拟场景摄像机之间相对变换关系：其中，所述变换关系采用下式实现：P＝A|[R|T]|M；其中，M表示三维空间的一个点，[R|T]表示一个[3|4]矩阵，该矩阵为一个欧式空间变换，A表示虚拟场景摄像机矩阵的内部参数矩阵，P表示M在屏幕上的投影；步骤S5：通过计算得到投影矩阵，使用手腕的坐标点与虚拟场景摄像机之间相对变换关系和投影矩阵将得到的手腕坐标点投影到三维场景中，将手表的3D模型根据投影矩阵投影到三维场景中手腕位置上。2.根据权利要求1所述的一种基于增强现实的智能终端3D手表试戴方法，其特征在于：步骤S1中所述采用肤色识别模型提取出和手部肤色相近的图像信息具体包括以下步骤；步骤S11：通过建立椭圆模型函数，将椭圆的中心点、椭圆轴的长度、偏转角度、圆弧的起始角度、圆弧的终结角的角度以及填充颜色传入一个背景全黑的图片，创建了一个背景全黑、椭圆内为白色的二值图片；步骤S12：把摄像头采集的每一帧图像进行处理，将图像帧的每个像素从RGB颜色空间转换到YCrCb颜色空间中，忽略Y值得影响，得到坐标(Cr，Cb)；步骤S13：遍历每一个像素的YCrCb空间坐标，并判断坐标是否在椭圆内，如果在椭圆内，则保留此像素点，如果不在椭圆内，则为非皮肤像素点，将其抛弃。3.根据权利要求1所述的一种基于增强现实的智能终端3D手表试戴方法，其特征在于：所述步骤S2具体包括以下步骤：步骤S21：将初步提取的手部图像信息进行二值化处理；步骤S22：对二值化处理后的图像进行中值滤波处理，得到去噪后的图像；步骤S23：对去噪后的图像进行轮廓提取，一个轮廓对应一系列的点，也就是图像中的一条曲线，将得到的一系列的点用序列把轮廓信息存储起来，序列中的每一个元素是曲线中的一个点位置；步骤S24：遍历每一个轮廓，判断轮廓内序列点的多少，将包含最多序列点的轮廓标记为备选手部轮廓，并进入步骤S25；如果没有找到轮廓则返回步骤S21；步骤S25：通过凸包检测函数，得到五个手指间的四个凸包和手腕处的两个凸包，共六个凸包；所述凸包包含起始点、结束点、深度点；步骤S26：分别计算起始点、结束点与深度点的距离；再计算以深度点为顶点，以起始点、结束点为边的夹角大小；用一组预先定义好的范围值判断距离和夹角是否在规定值范2CN10