交互方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113094019A(43)申请公布日2021.07.09(21)申请号202110480421.9(22)申请日2021.04.30(71)申请人咪咕文化科技有限公司地址100032北京市西城区华远街11号申请人中国移动通信集团有限公司(72)发明人赵璐(74)专利代理机构北京路浩知识产权代理有限公司11002代理人王治东(51)Int.Cl.G06F5/06(2006.01)G06T9/00(2006.01)G06T15/20(2011.01)G06F1/12(2006.01)权利要求书2页说明书7页附图3页(54)发明名称交互方法、装置、电子设备及存储介质(57)摘要本发明的实施例中提供一种交互方法、装置、电子设备及存储介质。交互方法包括：接收各终端发送的交互行为数据；对同一时间的所述各终端的交互行为数据渲染为一帧图像；获取一帧图像的最优数据传输量，并基于所述最优数据传输量调整编码策略，并基于所述编码策略对所述一帧图像编码后发送给各终端。本发明的实施例，基于时间戳对各终端上传的交互数据进行对其和渲染，并根据资源和网络状态等进行编码和传输，使各客户端进行同步显示，避免延迟以及使用户最大化体验到高清画面，有效地提升了终端上的交互体验。CN113094019ACN113094019A权利要求书1/2页1.一种交互方法，其特征在于，包括：接收各终端发送的交互行为数据；对同一时间的所述各终端的交互行为数据渲染为一帧图像；获取所述一帧图像的最优数据传输量，并基于所述最优数据传输量调整编码策略，并基于所述编码策略对所述一帧图像编码后发送给各终端。2.根据权利要求1所述的交互方法，其特征在于，所述交互行为数据包括时间戳，所述对同一时间的所述各终端的交互行为数据渲染为一帧图像，包括：将所述各终端发送的携带有时间戳的交互行为数据分别对应地写入预设的各缓存队列；从所述各缓存队列中分别查找目标时间戳对应的各终端的交互行为数据；对查找到的目标时间戳对应的各终端的交互行为数据渲染为一帧图像。3.根据权利要求2所述的交互方法，其特征在于，还包括：如果未从所述各缓存队列中分别查找到所述目标时间戳对应的各终端的交互行为数据，则重置所述目标时间戳，并基于重置的所述目标时间戳从所述各缓存队列中重新进行查找。4.根据权利要求1所述的交互方法，其特征在于，所述获取所述一帧图像的最优数据传输量，并基于所述最优数据传输量调整编码策略，并基于所述编码策略对所述一帧图像编码后发送给各终端，包括：基于网络带宽、图像渲染时长和图像编码时长确定所述一帧图像的最优数据传输量；基于所述最优数据传输量调整编码策略，并基于所述编码策略对所述一帧图像编码后发送给各终端。5.根据权利要求4所述的交互方法，其特征在于，所述基于所述最优数据传输量调整编码策略，并基于所述编码策略对所述一帧图像编码后发送给各终端，包括：判断所述最优数据传输量是否大于所述一帧图像采用高清编码占用的数据量；如果否，则优先对所述一帧图像中各终端的镜头区域对应区域采用高清编码，并对其余区域采用低清编码，以使所述一帧图像编码后的占用的数据量小于或等于所述最优数据传输量。6.根据权利要求5所述的交互方法，其特征在于，所述一帧图像划分为多个区域，每个区域可进行单独编码。7.根据权利要求1‑6任一项所述的交互方法，其特征在于，在接收各终端发送的交互行为数据之前，还包括：对所述各终端进行时钟校准。8.一种交互装置，其特征在于，包括：接收模块，用于接收各终端发送的交互行为数据；渲染模块，用于对同一时间的所述各终端的交互行为数据渲染为一帧图像；交互模块，用于获取所述一帧图像的最优数据传输量，并基于所述最优数据传输量调整编码策略，并基于所述编码策略对所述一帧图像编码后发送给各终端。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据权利要求1至7任一项所述交互方法的步骤。2CN113094019A权利要求书2/2页10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1至7任一项所述交互方法的步骤。3CN113094019A说明书1/7页交互方法、装置、电子设备及存储介质技术领域[0001]本发明涉及虚拟现实技术领域，尤其涉及一种交互方法、装置、电子设备及存储介质。背景技术[0002]现有的VR技术常用于观看VR视频或者用于游戏的交互式体验，没有考虑到在线交互需要实时的渲染，需要进行用户数据的同步、渲染、压缩以及传输。数据不同步，会极大影响用户的交互体验；除此之外，没有考虑网络传输的实时状态，有时造成卡顿，为了避免卡顿，传输低