一种增强现实中虚实遮挡处理方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112365516A(43)申请公布日2021.02.12(21)申请号202011255392.8(22)申请日2020.11.11(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号(72)发明人刘卫忠薛静冯卓明刘辉斌陶雄飞胡作启(74)专利代理机构北京金智普华知识产权代理有限公司11401代理人杨采良(51)Int.Cl.G06T7/13(2017.01)G06T7/181(2017.01)G06T7/50(2017.01)G06T7/70(2017.01)权利要求书2页说明书5页附图1页(54)发明名称一种增强现实中虚实遮挡处理方法(57)摘要本发明公开了一种增强现实中虚实遮挡处理方法，包括虚实遮挡判定的方法和虚实物体遮挡渲染方法；与现有技术相比，本发明首先通过SFM算法判定虚实物体两者的遮挡关系，分离出遮挡物；然后通过建立蒙版的方法对虚实物体进行遮挡渲染，使得在增强现实系统能够实现遮挡边缘更好，准确度更高的遮挡效果。CN112365516ACN112365516A权利要求书1/2页1.一种增强现实中虚实遮挡处理方法，其特征在于，包括虚实遮挡判定的方法和虚实物体遮挡渲染方法；虚实遮挡判定的方法所述以下步骤：(1)在相机初始化过程中记录初始化平移距离作为一个尺度值；(2)分解出相机的位姿，得到两帧之间相机的运动；(3)计算真实物体特征点的相对深度，结合初始化平移尺度得出特征点实际深度值；(4)将虚拟物体各像素点在相机坐标系下的Z轴坐标作为虚拟物体深度值；(5)通过比较深度值确定遮挡关系；所述虚实物体遮挡渲染方法包括以下步骤：(6)已知场景中真实物体与虚拟物体之间的遮挡关系，确定出遮挡物与被遮挡物；(7)提取遮挡物轮廓；(8)轮廓边缘优化与连接：在获取遮挡物轮廓后，对其边缘进行滤波优化，去除杂点，并对间断点进行连接；(9)建立遮挡蒙版：遍历获取的遮挡物轮廓图片所有像素，判定像素是否位于轮廓内部，是则将该像素值设置为1，否则设为0；(10)OpenGL模板测试：根据遮挡蒙版建立OpenGL模板缓存中的模板，设置glStencilFunc函数设置参数func为GL_EQUAL，使得模板像素值为1的像素通过测试并将此像素的RGB信息存储到颜色缓存中，未通过模板测试的像素后续进行深度测试，从而绘制出遮挡物；(11)OpenGL深度测试：将深度缓存中存储的各像素深度值设置为一个相对较大值(far)，对未通过模板测试的像素，将通过SFM计算的像素深度值与此像素存储在深度缓存中的深度值进行比较，glDepthFunc函数变量设为GL_LESS，此时像素深度值若小于存储在深度缓存中的值，则用计算得到的像素深度值更新深度缓存，并将此通过深度测试的像素的RGB信息存储到颜色缓存中，从而绘制出遮挡物以外像素。2.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(1)中具体为：在相机标定求解相机内参的过程中，记录下相机在场景中平移的实际距离，与通过计算得出的相机的平移向量进行映射，得出一个尺度值。3.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(2)中具体为：将相机第一帧图像所在坐标系设为世界坐标系OwXwYwZw，后续对相机拍摄的真实物体图像帧OcXcYcZc进行ORB特征提取和匹配，求取每个图像帧相对于第一帧所对应的变换矩阵，从而分解出相机的位姿，得到式(1)中的旋转矩阵R和平移向量t，得到两帧之间相机的运动；4.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(3)中具体为：根据第二个步骤中所得到的变换矩阵和三角测量原理，利用公式(2)可计算真实物体特征点的相对深度s1和s2，结合初始化平移尺度s得出特征点实际深度值，在对真实物体2CN112365516A权利要求书2/2页提取特征时，应提取尽量足够多的特征点以覆盖物体表面，这样求得的特征点深度值才能作为真实物体深度来近似。s1x1＝s2Rx2+t式(2)∧∧∧s1x1x1＝s2x1Rx2+x1t式(3)∧∧s2x1Rx2+x1t＝0式(4)。5.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(5)中具体为：将处于同一视点下的虚拟物体和真实物体像素点的深度值进行比较，若虚拟物体像素深度值小于真实物体像素深度值，则为虚拟物体像素遮挡真实物体像素，否则为真实物体像素遮挡虚拟物体像素。6.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(7)中具体为：在静态场景中，利用canny边缘检测算法对遮挡物进行轮廓提取，首先需要将彩色图像转化为灰度图，然后进行高斯模糊计算图像梯度，非极大值抑制和双阈值