曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107333121A(43)申请公布日2017.11.07(21)申请号201710501792.4(22)申请日2017.06.27(71)申请人山东大学地址250101山东省济南市高新区舜华路中段(72)发明人赵思伟杨承磊李韩超刘娟刘士军赵陆周念梅王玉超孟祥旭卞玉龙(74)专利代理机构济南圣达知识产权代理有限公司37221代理人张勇(51)Int.Cl.H04N13/04(2006.01)H04N13/02(2006.01)G06F3/01(2006.01)权利要求书3页说明书13页附图4页(54)发明名称曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法(57)摘要本发明涉及曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法，该方法基于一种曲面屏幕上移动视点的沉浸式立体渲染投影系统，该方法包括以下步骤：采集用户信息：追踪用户头部位置和姿态信息，估计用户双眼位置和视线方向；设置立体渲染参数：根据估计的用户双眼位置和视线方向，实时调整立体相机对参数进行移动视点的立体渲染；动态视差调整：根据用户与屏幕的相对位置关系和投影屏幕的几何形状信息对渲染后的体视图像对的视差进行后处理，使用户在其位置看到舒适正确的立体图像；用户观感优化：分别针对用户头部姿态和眼球移动，对动态视差调整后的图像进行进一步优化；投影立体场景，用户带立体眼镜观察漫游虚拟的立体场景。CN107333121ACN107333121A权利要求书1/3页1.一种曲面屏幕上移动视点的沉浸式立体渲染投影系统，其特征是：该系统包括：追踪模块，所述追踪模块被配置为追踪用户头部位置和姿态信息，估计用户双眼位置和视线方向的模块；渲染模块，所述渲染模块被配置为根据用户双眼位置信息及曲面屏幕位置形状信息，设置立体相机对的参数，渲染完成后，对左右相机生成的图像根据屏幕的形状信息进行后处理的模块；投影模块，所述投影模块被配置为将渲染模块渲染后的图像投影到曲面屏幕上的模块。2.如权利要求1所述的一种曲面屏幕上移动视点的沉浸式立体渲染投影系统，其特征是：所述追踪模块包括头部姿态采集装置、头部位置采集装置和双眼位置估计单元，所述头部姿态采集装置采集用户头部姿态信息，并传输至所述双眼位置估计单元；所述头部位置采集装置采集用户头部位置信息，并传输至所述双眼位置估计单元；所述双眼位置估计单元根据接收的用户头部姿态信息和用户头部位置信息，对用户双眼相对于曲面屏幕的位置信息和用户双眼视线方向进行估计计算，并传输至所述渲染模块；所述投影模块包括立体相机对和曲面屏幕，经过所述渲染模块渲染后的立体相机对的投影图像贴于曲面屏幕上，建立投影图像空间与曲面屏幕空间的映射，完成投影。3.一种曲面屏幕上移动视点的沉浸式立体渲染投影方法，该方法基于如权利要求1-2任一所述的一种曲面屏幕上移动视点的沉浸式立体渲染投影系统，其特征是：该方法包括以下步骤：(1)采集用户信息：追踪用户头部位置和姿态信息，估计用户双眼位置和视线方向；(2)设置立体渲染参数：根据步骤(1)中估计的用户双眼位置和视线方向，实时调整立体相机对参数进行移动视点的立体渲染；(3)动态视差调整：根据用户与屏幕的相对位置关系和投影屏幕的几何形状信息对渲染后的体视图像对的视差进行后处理，使用户在其位置看到舒适正确的立体图像；(4)用户观感优化：分别针对用户头部姿态和眼球移动，对步骤(3)中动态视差调整后的图像进行进一步优化；(5)投影立体场景，用户带立体眼镜观察漫游虚拟的立体场景。4.如权利要求3所述的一种曲面屏幕上移动视点的沉浸式立体渲染投影方法，其特征是：所述步骤(1)中，采用头部姿态采集装置采集用户头部姿态信息，并传输至所述双眼位置估计单元；采用头部位置采集装置采集用户头部位置信息，并传输至所述双眼位置估计单元；所述双眼位置估计单元根据接收的用户头部姿态信息和用户头部位置信息，对用户双眼相对于曲面屏幕的位置信息和用户双眼视线方向进行估计计算，并传输至所述渲染模块，进入步骤(2)。5.如权利要求3所述的一种曲面屏幕上移动视点的沉浸式立体渲染投影方法，其特征是：所述步骤(2)中，在实时调整立体相机对参数进行移动视点的立体渲染之前，建立会聚平面与投影平面的对应关系，所述会聚平面与投影平面的对应关系通过宽高比约束，且所述会聚平面与投影平面的长度的比值为K；所述会聚平面为立体相机对中的左右两个相机的非对称视椎体相交的平面，所述会聚平面为矩形平面，所述会聚平面为预设平面，且位置与形状保持不变；2CN107333121A权利要求书2/3页所述投影平面为与会聚平面相对应的用户观察到投影画面的一个矩形平面，对于曲面投影屏幕，所述投影平面为曲面投影屏幕上连接显像区域左右两端的假想矩形平面；所述步骤(2