混合现实交互系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110400375A(43)申请公布日2019.11.01(21)申请号201910704285.X(22)申请日2019.07.31(71)申请人陶峰地址233280安徽省滁州市定远县永康镇康东村东二组36-1号(72)发明人陶峰(74)专利代理机构北京知呱呱知识产权代理有限公司11577代理人彭伶俐(51)Int.Cl.G06T19/00(2011.01)G06T15/00(2011.01)H04N13/156(2018.01)H04N13/204(2018.01)G06F3/01(2006.01)权利要求书2页说明书6页附图3页(54)发明名称混合现实交互系统(57)摘要本发明实施例公开了一种混合现实交互系统，包括，用户影像采集模块，用于采集用户实时立体影像，交互场景构建模块，用于构建用户交互场景，用户模型构建模块，用于基于所述用户实时立体影像构建用户模型，所述用户模型构建于所述用户交互场景中并用于确定所述用户影像的物理边界，显示模块，用于显示交互图像，其中，所述用户实时立体影像与所述用户模型相匹配渲染。基于简化模型确定用户影像的物理边界，同时将用户实时立体影像与所述用户模型相匹配渲染，避免了影像虚无飘忽的问题的同时，降低了即时计算成本，并由于模型与影像的匹配渲染，提高了模型的真实度，提高系统交互的真实感。CN110400375ACN110400375A权利要求书1/2页1.一种混合现实交互系统，其特征在于，包括，用户影像采集模块，用于采集用户实时立体影像，交互场景构建模块，用于构建用户交互场景，用户模型构建模块，用于基于所述用户实时立体影像构建用户模型，所述用户模型构建于所述用户交互场景中并用于确定所述用户影像的物理边界，显示模块，用于显示交互图像，其中，所述用户实时立体影像与所述用户模型相匹配渲染。2.根据权利要求1所述的混合现实交互系统，其特征在于，所述用户影像采集模块包括第一影像采集模块和第二影像采集模块，其中，所述第一影像采集模块采集第一用户由所述显示模块覆盖的外部全身实时立体影像，所述第二影像采集模块采集第一用户由所述显示模块覆盖的内部面部实时立体影像，所述第一用户的实时立体影像由外部全身实时立体影像和内部面部实时立体影像合成而成。3.根据权利要求1所述的混合现实交互系统，其特征在于，所述用户影像采集模块包括眼球追踪模块，其中，所述眼球追踪模块用于实时捕捉第二用户眼球偏转方向角度以及视线焦点。4.根据权利要求3所述的混合现实交互系统，其特征在于，所述影像采集模块至少包括第一摄像装置和第二摄像装置，所述第一摄像装置和第二摄像装置可围绕在第一用户周围移动，并分别基于所述眼球追踪模块实时捕捉的第二用户左右眼球偏转方向角度以及视线焦点改变所述第一摄像装置和第二摄像装置的拍摄方向角度及焦距和第一摄像装置与第二摄像装置之间的相对位置关系。5.根据权利要求4所述的混合现实交互系统，其特征在于，所述用户交互场景包括第一交互场景和第二交互场景，所述第一交互场景和第二交互场景基于相同的选定场景生成，其中，所述第一交互场景至少部分的基于所述眼球追踪模块实时捕捉的第二用户一个眼球的偏转方向角度以及视线焦点实施所述选定场景的坐标偏转和图像虚化，所述第二交互场景至少部分的基于所述眼球追踪模块实时捕捉的第二用户另一个眼球的偏转方向角度以及视线焦点实施所述选定场景的坐标偏转和图像虚化。6.根据权利要求5所述的混合现实交互系统，其特征在于，所述用户模型包括第一模型和第二模型，所述第一模型构成为至少基于所述第一摄像装置所采集的第一用户的第一实时立体影像构建生成于所述第一交互场景中，所述第二模型构成为至少基于所述第二摄像装置所采集的第一用户的第二实时立体影像构建生成于所述第二交互场景中，其中，所述第一实时立体影像与所述第一模型相匹配渲染，所述第二实时立体影像与所述第二模型相匹配渲染。7.根据权利要求6所述的混合现实交互系统，其特征在于，所述显示模块包括第一显示模块和第二显示模块，2CN110400375A权利要求书2/2页所述第一显示模块设定为显示第一图像信息，所述第一图像信息由所述第一交互场景构成，所述第二显示模块设定为显示第二图像信息，所述第二图像信息由所述第二交互场景构成。8.根据权利要求1所述的混合现实交互系统，其特征在于，所述用户模型构建模块包括预存用户模型，所述预存用户模型基于用户以往采集的立体影像生成并存储，用于当用户进入所述混合现实交互系统时调取用户模型与用户实时立体影像进行匹配渲染。9.根据权利要求1-8任一项所述的混合现实交互系统，其特征在于，还包括物理引擎模块，所述物理引擎模块基于所述交互场景和用户模型初始化物理模型及其坐标关系，用于用户-场景以及