混合现实交互系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110798497A(43)申请公布日2020.02.14(21)申请号201810879284.4(22)申请日2018.08.03(71)申请人中国移动通信集团有限公司地址100032北京市西城区金融大街29号申请人中国移动通信集团天津有限公司北京凡讯天视科技有限公司(72)发明人阎伟魏丽红孙金霞徐敏靳晓嘉葛澍张继军许俊杰于世辉张景武(74)专利代理机构北京路浩知识产权代理有限公司11002代理人王莹李相雨(51)Int.Cl.H04L29/08(2006.01)H04L12/24(2006.01)权利要求书2页说明书10页附图4页(54)发明名称混合现实交互系统和方法(57)摘要本发明实施例提供一种混合现实交互系统和方法。所述系统包括：混合现实终端、云服务器、编码装置和解码装置，混合现实终端用于进行空间感测和数据采集，输出至所述云服务器；还用于实时预测当前环境关联的内容，生成预测数据；云服务器用于识别用户身份以及用户所请求的内容，进行三维空间建模，获取物件信息数据和业务内容数据，进行数据渲染；编码装置用于对数据进行编码；解码装置用于对数据进行解码；混合现实终端还用于根据解码装置输出的数据和预测数据进行混合现实内容的呈现。本发明实施例通过将渲染计算能力剥离到云服务器，并且增加独立的编码装置和解码装置，能够减少混合现实终端的性能负荷，提高交互的流畅度。CN110798497ACN110798497A权利要求书1/2页1.一种混合现实交互系统，其特征在于，所述系统包括：混合现实终端、云服务器、编码装置和解码装置，其中：所述混合现实终端，用于进行空间感测和数据采集，生成空间信息、位置信息、手势信息、物件信息以及物件交互信息，输出至所述云服务器；以及用于实时预测当前环境关联的内容，生成预测数据；所述云服务器，用于接收所述混合现实终端输出的数据，根据所述手势信息识别用户身份以及用户所请求的内容；根据空间信息和位置信息实时进行三维空间建模，生成空间模型数据；根据所述物件信息和物件交互信息实时获取物件信息数据和业务内容数据；对所述空间模型数据、物件信息数据以及业务内容数据进行渲染，输出至所述编码装置；所述编码装置，用于接收所述云服务器输出的数据并进行编码，输出至所述解码装置；所述解码装置，用于接收所述解码装置输出的数据并进行解码，输出至所述混合现实终端；所述混合现实终端，还用于接收所述解码装置输出的数据，并根据所述解码装置输出的数据和所述预测数据进行混合现实内容的呈现。2.根据权利要求1所述的系统，其特征在于，所述云服务器包括CPU和多个GPU，其中：所述CPU，用于接收所述混合现实终端输出的数据，根据所述手势信息识别用户身份以及用户所请求的内容；根据空间信息和位置信息实时进行三维空间建模，生成空间模型数据；根据所述物件信息和物件交互信息实时获取物件信息数据和业务内容数据；所述多个GPU，用于并行对所述空间模型数据、物件信息数据以及业务内容数据进行渲染，得到画面数据，并输出至所述编码装置。3.根据权利要求2所述的系统，其特征在于，所述编码装置包括：第一预测模块、变换模块、量化模块和熵编码模块，其中：所述第一预测模块，用于对所述画面数据进行帧内预测和帧间预测，输出至所述变换模块；所述变换模块，用于将第一预测模块输出的数据进行时域到频域的变换，输出至所述量化模块；所述量化模块，用于对所述量化模块输出的数据的进行量化，输出至所述熵编码模块；所述熵编码模块，用于对所述量化模块输出的数据进行编码，输出至所述解码模块。4.根据权利要求3所述的系统，其特征在于，所述解码装置包括：熵解码模块、反量化模块、反变换模块和第二预测模块，其中：所述熵解码模块，用于对所述熵编码模块输出的数据进行解码，输出至所述反量化模块；所述反量化模块，用于将所述熵解码模块输出的数据进行反量化，输出至所述反变换模块；所述反变换模块，用于将所述反量化模块输出的数据进行频域到时域的变换，输出至所述第二预测模块；所述第二预测模块，用于对所述反变换模块输出的数据进行帧内预测和帧间预测，输出至所述混合现实终端。5.根据权利要求1所述的系统，其特征在于，所述混合现实中终端包括采集模块、呈现2CN110798497A权利要求书2/2页模块和第三预测模块，其中：所述采集模块，用于进行空间感测和数据采集，生成空间信息、位置信息、手势信息、物件信息以及物件交互信息，输出至所述云服务器；所述呈现模块，用于接收所述解码装置输出的数据，并根据所述解码装置输出的数据和所述预测数据进行混合现实内容的呈现；所述第三预测模块包括扫描子模块、预测子模块和填充子模块，其中：所述扫描子模块，用于对当前环境进行实时扫描，获取当前环境及周边环境