一种扩展增强现实头戴式显示设备视场角的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110060349A(43)申请公布日2019.07.26(21)申请号201910143690.9(22)申请日2019.02.25(71)申请人叠境数字科技（上海）有限公司地址200031上海市徐汇区太原路294号8号楼218室(72)发明人罗曦章焱舜李嘉琰李玉玮张迎梁(74)专利代理机构上海京沪专利代理事务所(普通合伙)31235代理人周晓玲(51)Int.Cl.G06T19/00(2011.01)G06T15/20(2011.01)权利要求书2页说明书6页附图2页(54)发明名称一种扩展增强现实头戴式显示设备视场角的方法(57)摘要本发明公开了一种扩展增强现实头戴式显示设备视场角的方法，包括增强现实头戴式显示设备(即AR头显)、显示屏幕阵列以及计算机，所述计算机包含渲染引擎。本发明结合外部显示器的可扩展性和AR头显的沉浸感，解决实际应用中AR头显视场角小的问题，可用于需要提高视场角的场景(如用AR头显玩游戏，观看比赛等)或需要公私屏显示不同内容的场景(如纸牌游戏等，需公共屏和私有屏协作显示)。本发明采用多个显示器组成的屏幕阵列补充头显的显示，可以根据实际需求改变屏幕的大小和个数，以一种有效且可扩展的方式，极大提升了AR头显的可视角，提高用户在使用时的真实感和沉浸感，同时，屏幕阵列作为公共屏，可供更多人观看，实现AR内容共享。CN110060349ACN110060349A权利要求书1/2页1.一种扩展增强现实头戴式显示设备视场角的方法，包括AR头显、显示屏幕阵列以及计算机，所述计算机包含渲染引擎，其特征在于，具体包括以下步骤：步骤1、坐标系校准：设所述AR头显的坐标系为Cglass，所述显示屏幕阵列的坐标系为Cworld，首先获取所述显示屏幕阵列的三维角点Q0，采用计算机视觉技术优化三维角点数据并得到优化后的三维角点Q，并计算得到从所述Cglass坐标转换到所述Cworld坐标的变换矩阵Tg2w；步骤2、实时定位：利用所述AR头显的无线通信功能，将所述AR头显在所述Cglass中的姿态Pglass和三维角点Q，传输至计算机，由计算机计算得到所述显示屏幕阵列的图象渲染信息，并将所述渲染信息传输至所述渲染引擎，对所述显示屏幕阵列的图象进行渲染，所述AR头显的图象渲染由所述AR头显自行完成；步骤3、实时渲染场景：对于每一帧，所述渲染引擎从所述渲染信息中得到所述AR头显在所述Cworld中的坐标值，计算以所述AR头显为参考点、所述显示屏幕阵列为像平面的透视投影矩阵，将所述透视投影矩阵作为当前帧的相机投影矩阵Poffaxis并渲染，然后传输至屏幕阵列。2.如权利要求1所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，步骤1中，所述获取所述显示器的三维角点Q0的方法具体包括以下步骤：步骤1.1、标定得到所述AR头显的相机的投影矩阵P；步骤1.2、标定得到所述相机坐标系Ccamera到所述Cglass的转换矩阵Tc2g；步骤1.3、利用所述AR头显扫描房间，得到所述房间的几何参数；步骤1.4、检测所述显示屏幕阵列在所述Ccamera上的二维角点位置x；步骤1.5、将x进行反投影，得到在所述Ccamera中，像平面上的三维位置Xc；步骤1.6、将所述Xc转换至所述Cglass中，得到Xg；步骤1.7、设相机中心点在所述Ccamera下为Oc(0,0,0)，转换至所述Cglass中，得到Og；步骤1.8、从所述相机射出一条射线，以所述Og为起点，方向为Xg-Og，与所述房间的几何参数求交，得到所述Q0。3.如权利要求2所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，步骤1中，得到所述Q的方法具体为光束法平差。4.如权利要求3所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，所述光束法平差满足以下优化公式：其中，n为总拍摄图象的数量；i为第i个图象；Pi为第i个图象中的投影矩阵；；xi为第i个图象中的二维角点位置；d()表示欧氏距离。Tg2c为头显坐标系到相机坐标系的转换，可由Tc2g转换得到。5.如权利要求4所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，所述光束法平差的优化目标为，使得所述欧氏距离d()最小。6.如权利要求5所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，步骤1中，所述Tg2w满足以下公式：2CN110060349A权利要求书2/2页其中，(x0,y0,z0)为所述Cworld的原点，在所述Cglass中的坐标；(ex1,ex2,ex3)为所述Cworld的坐标轴在所述Cglass中的坐标；(ey1,ey2,ey3)为所述Cworld的坐标轴在所述Cglass中的坐标；(ez1,ez2,ez3)为