多人虚拟现实交互系统及其控制方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107024995A(43)申请公布日2017.08.08(21)申请号201710413568.X(22)申请日2017.06.05(71)申请人河北玛雅影视有限公司地址050000河北省石家庄市新石北路368号2号楼三层西侧(72)发明人王录强(51)Int.Cl.G06F3/01(2006.01)G06T19/00(2011.01)G06T15/00(2011.01)权利要求书2页说明书4页附图2页(54)发明名称多人虚拟现实交互系统及其控制方法(57)摘要本发明公开了一种多人虚拟现实交互系统及其控制方法。交互系统包括环绕场景布设的摄像头和服务器、1个以上用户子系统，用户子系统包括有线连接的头显和渲染计算机。还包括虚拟用户子系统，虚拟用户子系统包括音频采集装置、1个以上的头显一体机和渲染存储服务器；各头显一体机共用渲染存储服务器。控制方法包括场景视频采集、用户位置信息解算、用户子系统的全景视频渲染、虚拟人用户子系统的全景视频渲染步骤。本发明使用方便，降低了设备成本，突破了使用人数限制，并且支持录播功能。CN107024995ACN107024995A权利要求书1/2页1.一种多人虚拟现实交互系统，其特征在于：包括摄像头1-摄像头N、服务器、用户子系统1-用户子系统M和虚拟人用户子系统；虚拟人用户子系统包括音频采集装置、渲染存储计算机和头显一体机1-头显一体机P；M、N和P为大于或等于1的整数；所述摄像头1-摄像头N环绕场景布设，所采集的场景视频传输至服务器；所述各用户子系统结构相同，均由带空间定位装置的头显、手柄、刚体标记球组、渲染计算机组成；所述手柄用于用户与虚拟场景交互；所述各用户的渲染计算机与服务器通过局域网连接；所述刚体标记球组包括1个以上刚体标记球；所述场景视频包含各用户的刚体标记球组，所述服务器基于场景视频中各用户的刚体标记球组中的刚体标记球坐标解算相应用户的位置信息，并将各用户的位置信息下发到相应用户的渲染计算机；渲染计算机与头显双向有线连接，接收头显中空间定位装置采集的用户姿态信息，根据用户位置信息和姿态信息渲染相应视角的视频，并将相应视角的视频传送至头显；所述各头显一体机与渲染存储计算机有线双向连接；虚拟人用户的位置信息由主控用户在服务器上设定；所述服务器将虚拟人用户的位置信息传输至渲染存储计算机；渲染存储计算机根据虚拟人用户的位置信息渲染全景视频并保存；所述渲染存储计算机将其渲染的全景视频传输至各头显一体机；所述各头显一体机带空间定位装置；各头显一体机采集的相应虚拟用户的姿态信息，根据姿态信息渲染相应视角的视频；所述音频采集装置用于录制场景音频，并将其传输至渲染存储服务器存储。2.根据权利要求1所述的多人虚拟现实交互系统，其特征在于：所述渲染存储计算机与各头显一体机采用HDMI协议双向有线连接。3.根据权利要求1所述的多人虚拟现实交互系统，其特征在于：所述刚体标记球组包括两个刚体标记球分组，分别安装在头显和手柄上。4.一种用于权利要求1或2所述的多人虚拟现实交互系统的控制方法，其特征在于：包括以下具体步骤：步骤1：场景视频采集：服务器接收各摄像头采集的场景视频，所述场景视频包含各用户的刚体标记球组；步骤2：用户位置信息解算：由以下具体步骤组成：步骤2-1：服务器提取场景视频中各用户的刚体标记球组中各刚体标记球的坐标；步骤2-2：服务器根据各刚体标记球的坐标解算各用户的头和手柄的位置信息和姿态信息；步骤3：用户子系统的用户视角视频渲染：由以下具体步骤组成：步骤3-1：服务器发送的所有用户的位置信息和姿态信息至各渲染计算机；步骤3-2：各渲染计算机根据相应用户的头的位置信息和姿态信息，渲染视频，将其发送到相应头显；所述视频中包括与其他用户对应的虚拟对象；所述各虚拟对象的位置和姿态由相应子用户的头和手柄的位置信息和姿态信息决定；步骤4：虚拟人用户子系统的全景视频渲染：包括以下具体步骤：步骤4-1：主控用户在服务器上设定虚拟用户的位置信息；步骤4-2：服务器将虚拟用户的位置信息发送到渲染存储计算机；步骤4-2：渲染存储计算机根据虚拟用户的位置信息渲染对应的全景视频并存储；步骤4-3：音频采集装置录制场景音频，并将其传输至渲染存储服务器存储；步骤4-4：渲染存储计算机使用HDMI协议将全景视频和场景音频发送到各头显一体机；2CN107024995A权利要求书2/2页步骤4-5：各头显一体机根据其采集的姿态信息，渲染相应视角的视频播放。5.根据权利要求4所述的多人虚拟现实交互系统的控制方法，其特征在于：所述步骤4中存储计算机渲染存储的全景视频是3D全景视频。3CN107024995A说明书1/4页多人虚拟现实交互系统及其控制方法技术领域