增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(10)申请公布号CNCN103489214103489214A(43)申请公布日2014.01.01(21)申请号201310409925.7(22)申请日2013.09.10(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人宋荆洲杨琼贾庆轩孙汉旭(51)Int.Cl.G06T15/40(2011.01)G06T7/00(2006.01)权权利要求书2页利要求书2页说明书4页说明书4页附图1页附图1页(54)发明名称增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法(57)摘要本发明涉及增强现实系统中基于虚拟模型预处理的虚实遮挡方法,包括步骤：利用深度摄像头KINECT获取彩色图像和表征深度信息的灰度图像；将该彩色图像转换成增强现实虚实遮挡系统能识别跟踪的位图图像并三维注册虚拟模型；结合虚拟模型三维注册位置和虚拟模型自身深度对灰度图像进行阈值处理并提取真实物体外围轮廓；在虚拟模型渲染场景中，三维注册轮廓坐标系；将二维轮廓顶点坐标转换为对应实际大小的三维坐标并在轮廓坐标系中绘制，重新绘制的轮廓作为“三维模型”能遮挡虚拟模型；合成彩色图像与处理后的虚拟模型，轮廓内部区域即虚拟模型被遮挡部分被真实物体图像填充，获得虚实遮挡效果。本发明无需预先建模和逐个像素比较虚拟模型深度信息，适用于未知变化的环境，能够满足实时性要求。CN103489214ACN1034892ACN103489214A权利要求书1/2页1.一种增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于包括以下步骤：1)利用深度摄像头KINECT获取场景的彩色图像和表征深度信息的灰度图像；2)将该彩色图像转换成增强现实虚实遮挡系统能识别跟踪的位图图像并三维注册虚拟模型；3)结合虚拟模型三维注册的位置和虚拟模型自身深度对表征深度信息的灰度图像进行阈值处理并提取遮挡虚拟模型的真实物体外围轮廓；4)在虚拟模型渲染场景中，三维注册轮廓坐标系；将二维轮廓顶点坐标转换为对应实际大小的真实物体轮廓顶点的三维坐标并在轮廓坐标系中绘制，使其在屏幕上的投影与真实物体投影的轮廓重合，重新绘制的轮廓作为“三维模型”能遮挡虚拟模型，完成虚拟模型预处理；5)将彩色图像作为背景与处理后的虚拟模型合成图像，轮廓内部区域即虚拟模型被遮挡部分被真实物体图像填充，获得虚实遮挡效果。2.如权利要求1所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于：所述步骤3）中提取遮挡虚拟模型的真实物体外围轮廓的具体步骤是：3.1)对灰度图像降噪处理；3.2)由虚拟模型三维注册的位置深度和虚拟模型自身深度计算出遮挡虚拟模型的真实物体深度，并以此作为阈值对灰度图像处理，大于该阈值的像素灰度置为统一值，小于等于该阈值的像素被剔除；3.3)在阈值处理后的灰度图像上提取轮廓，对轮廓多边形逼近处理，减少轮廓顶点数目，减轻计算量。3.如权利要求1所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于：所述步骤4）中使绘制轮廓在屏幕上的投影与真实物体投影轮廓重合的具体步骤是：4.1)三维注册绘制真实物体外围轮廓的轮廓坐标系，使其原点在屏幕的投影与屏幕坐标系原点重合；4.2)按照轮廓坐标系注册的位姿将提取的二维轮廓顶点像素坐标转换成三维像素坐标；4.3)将变换后的轮廓顶点三维像素坐标值转换成对应的实际物理值，并在轮廓坐标系下绘制出来，设置内部区域被填充。4.如权利要求3所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于：所述步骤4.1）中三维注册轮廓坐标系原点的方法是：姿态与渲染虚拟模型的场景的内部坐标系相同；注册位置的深度为阈值处理的深度值，注册位置其余两坐标轴方向的位移为屏幕坐标系的重心像素坐标对应的物理值，可由摄像机内部参数和轮廓坐标系原点的深度计算获得。5.如权利要求3所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于：2CN103489214A权利要求书2/2页所述步骤4.2）中转换轮廓顶点坐标的方法是：二维像素坐标对应轮廓坐标系中与屏幕坐标系平行的两个坐标轴的坐标值，轮廓无厚度，则设置顶点在第三个坐标轴的坐标值为0。6.如权利要求3所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于：所述步骤4.3）中转换轮廓顶点坐标为实际物理值的方法是：标定摄像机得到摄像机内部参数矩阵，得到像素单元尺寸对应的物理值，按照针孔投影模型，结合轮廓坐标系深度可计算得到轮廓顶点实际物理坐标。3CN103489214A说明书1/4页增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法技术领域：[0001]本发明涉及一种增强现实系统中基于虚拟模型预处理的虚实遮