一种AR投影方法、系统及AR投影仪.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908755A(43)申请公布日2023.04.04(21)申请号202211423540.1G06V20/64(2022.01)(22)申请日2022.11.15G06N3/0464(2023.01)G06N3/0455(2023.01)(71)申请人深圳市盛仁电子科技有限公司G06N3/08(2023.01)地址518000广东省深圳市龙岗区平湖街道上木古社区平新北路51号宿舍B栋607(72)发明人盛珩(74)专利代理机构深圳科湾知识产权代理事务所(普通合伙)44585专利代理师姬淑银(51)Int.Cl.G06T19/00(2011.01)G06T7/73(2017.01)G06T5/00(2006.01)G06F3/01(2006.01)权利要求书2页说明书8页附图2页(54)发明名称一种AR投影方法、系统及AR投影仪(57)摘要本发明公开了一种AR投影方法、系统及AR投影仪，属于虚拟现实交互技术领域，包括在AR投影助手内内置摄像头拍摄相机，通过内置摄像头拍摄相机扫描目标环境周围场景，提取周围场景的环境信息和物体信息，使用系统构建三维场景，根据获取的环境信息对场景进行三维重构，并生成三维物体的数据模型，对拍摄的三维物体的形状进行识别，根据识别的外形轮廓，建立模型数据，将模型数据经过运算处理与实体物件进行交互仿真，在实体物件上进行投影成像，在完成所有呈现效果的仿真计算后，将AR效果实时渲染出来，使用AR投影助手显示设备进行显示，本发明能在进行AR投影渲染的同时，起到降低延迟且可控的效果。CN115908755ACN115908755A权利要求书1/2页1.一种AR投影方法，其特征在于，采用以下步骤：步骤1：在AR投影助手内内置摄像头拍摄相机，通过内置摄像头拍摄相机扫描目标环境周围场景，提取周围场景的环境信息和物体信息；步骤2：使用系统构建三维场景，根据获取的环境信息对场景进行三维重构，并生成三维物体的数据模型；步骤3：对拍摄的三维物体的形状进行识别，根据识别的外形轮廓，建立模型数据，将模型数据经过运算处理与实体物件进行交互仿真，在实体物件上进行投影成像；步骤4：在完成所有呈现效果的仿真计算后，将AR效果实时渲染出来，使用AR投影助手显示设备进行显示。2.根据权利要求1所述的一种AR投影方法，其特征在于：所述AR助手内置摄像头拍摄相机扫描目标环境周围场景提取环境信息时，需要确定拍摄相机的位置坐标，拍摄相机坐标确定是根据环境信息的特征点计算Tm矩阵，再确定拍摄相机的位置坐标。3.根据权利要求2所述的一种AR投影方法，其特征在于：Tm矩阵的计算公式如下：其中，C为摄像机内参矩阵，矩阵Tm为摄像机外参矩阵。4.根据权利要求3所述的一种AR投影方法，其特征在于：内参矩阵的公式如下：其中，f为图像平面和照相机中心间的距离，s为倾斜参数，a是纵横比例参数，c＝[cx,cy],是光标坐标轴和图像平面的交点。5.根据权利要求4所述的一种AR投影方法，其特征在于：所述s在一般情况下为0，即：两个K矩阵中的fx和fy存在着fx＝afy的关系，a在像素元素非正方形的情况下使用时默认为1。6.根据权利要求1所述的一种AR投影方法，其特征在于：所述拍摄相机在拍摄的时候还需要使用CompenNet卷积神经网络补偿函数通过抑制和抵消投影表面上面纹理和图案带来的干扰。7.根据权利要求6所述的一种AR投影方法，其特征在于：CompenNet卷积神经网络计算流程如下，先输入投影图像为x，得到相机拍摄图像为计算公式如下：其中，πp为复合几何投影，πc为辐射传递函数，s为表面光谱反射特性，πs为光谱反射函数，g为全局照明辐照度；2CN115908755A权利要求书2/2页确定投影输入图像x*，计算公式如下：*πc(πs(πp(x),g,s))＝x8.根据权利要求7所述的一种AR投影方法，其特征在于：所述CompenNet卷积神经网络还会使用训练数据进行学习，训练对的生成公式如下：其中，在环境设置确定时，为固定参数，是的补偿，θ包含可学习的网络参数。9.一种AR投影系统，其特征在于，包括：摄像模块，用于扫描拍摄目标环境周围场景，提取周围场景的环境信息和物体信息；坐标确定模块，用于根据摄像模块模块拍摄的信息建立坐标，并确定摄像模块的位置坐标；场景构建模块，用于根据摄像模块拍摄获取的环境信息构建三维场景；物体构建模块，用于根据摄像模块拍摄获取的物体信息构建三维物体；交互仿真模块，用于使用虚拟物件对场景构建模块构建的三维场景和物体构建模块构建的三维物体进行交互仿真；效果渲染模块，用于对交互仿真模块交互仿真的结果进行实时渲染；显示模块，用于显示效果渲染模块渲染出的效果图像和视频。10.一种AR投影仪，