图像处理方法、图像处理装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109302637A(43)申请公布日2019.02.01(21)申请号201811307394.X(22)申请日2018.11.05(71)申请人腾讯科技（成都）有限公司地址610041四川省成都市高新区拓东新街81号天府软件园二期C区4号楼(72)发明人贺国睿荆彦青方亮孙大伟李林申韩尹波(74)专利代理机构北京市柳沈律师事务所11105代理人张晓明(51)Int.Cl.H04N21/44(2011.01)H04N21/433(2011.01)H04N21/443(2011.01)H04N21/41(2011.01)权利要求书2页说明书8页附图8页(54)发明名称图像处理方法、图像处理装置和电子设备(57)摘要本公开提供了用于云真机系统的图像处理方法、图像处理装置和电子设备。图像处理方法包括：实时采集屏幕上显示的连续图像帧；缓存采集的连续图像帧；每隔预定时间间隔，渲染缓存的连续图像帧中当前时刻的图像帧，并且输出渲染后的当前时刻的图像帧；以及硬件编码渲染后的当前时刻的图像帧，生成并且输出对应于屏幕上显示的连续图像帧的视频流。通过利用电子设备端的硬件编码器执行屏幕图像的编码，减小了云真机系统的延迟，并且降低了对于本地处理设备的硬件要求，增加了单台远程处理设备能够接入的电子设备的数量，降低了部署成本。此外，电子设备直接向本地处理设备传输视频流，相比于同等清晰度下的图像数据，减小了对于传输带宽的需求。CN109302637ACN109302637A权利要求书1/2页1.一种图像处理方法，包括：实时采集屏幕上显示的连续图像帧；每隔预定时间间隔，渲染采集的所述连续图像帧中当前时刻的图像帧，并且输出渲染后的所述当前时刻的图像帧；以及硬件编码渲染后的所述当前时刻的图像帧，生成并且输出对应于所述屏幕上显示的连续图像帧的视频流。2.如权利要求1所述的图像处理方法，其中，以第一帧速率显示所述连续图像帧，并且所述视频流具有第二帧速率。3.如权利要求1或2所述的图像处理方法，其中，所述硬件编码渲染后的所述当前时刻的图像帧，生成并且输出对应于所述屏幕上显示的连续图像帧的视频流包括：响应于接收到渲染后的所述当前时刻的图像帧，硬件编码渲染后的所述当前时刻的图像帧；缓存编码后的所述当前时刻的图像帧；以及读取并且输出多个编码后的所述当前时刻的图像帧，作为对应于所述屏幕上显示的连续图像帧的视频流。4.如权利要求1或2所述的图像处理方法，还包括：缓存采集的所述连续图像帧；初始化用于渲染的上下文环境，建立纹理资源；将缓存采集的所述连续图像帧的缓存区与所述上下文环境中的上述纹理资源相关联。5.如权利要求4所述的图像处理方法，其中，所述实时采集屏幕上显示的连续图像帧包括：将屏幕上显示的连续图像帧投影到所述缓存区。6.一种图像处理装置，包括：图像采集单元，用于实时采集屏幕上显示的连续图像帧；渲染单元，用于每隔预定时间间隔，渲染采集的所述连续图像帧中当前时刻的图像帧，并且输出渲染后的所述当前时刻的图像帧；以及编码单元，用于硬件编码渲染后的所述当前时刻的图像帧，生成并且输出对应于所述屏幕上显示的连续图像帧的视频流。7.如权利要求6所述的图像处理装置，其中，以第一帧速率显示所述连续图像帧，并且所述视频流具有第二帧速率。8.如权利要求6或7所述的图像处理装置，其中，所述编码单元包括硬件编码子单元、输出缓存子单元和输出子单元：所述硬件编码子单元用于响应于接收到渲染后的所述当前时刻的图像帧，硬件编码渲染后的所述当前时刻的图像帧；所述输出缓存子单元用于缓存编码后的所述当前时刻的图像帧；以及所述输出子单元用于读取并且输出多个编码后的所述当前时刻的图像帧，作为对应于所述屏幕上显示的连续图像帧的视频流。9.如权利要求6或7所述的图像处理装置，还包括：缓存单元，用于缓存采集的所述连续图像帧；2CN109302637A权利要求书2/2页其中，所述渲染单元初始化用于渲染的上下文环境，建立纹理资源；并且将所述缓存单元与所述上下文环境中的上述纹理资源相关联。10.如权利要求9所述的图像处理装置，其中，所述图像采集单元将屏幕上显示的连续图像帧投影到所述缓存单元。11.一种电子设备，包括：显示器，用于显示连续图像帧；图像处理器，用于实时采集所述显示器上显示的连续图像帧，并且每隔预定时间间隔，渲染采集的所述连续图像帧中当前时刻的图像帧，输出渲染后的所述当前时刻的图像帧；以及硬件编解码器，用于编码渲染后的所述当前时刻的图像帧，生成并且输出对应于所述显示器上显示的连续图像帧的视频流。12.如权利要求11所述的电子设备，还包括：中央处理器，用于接收来自与所述电子设备连接的本地处理设备的启动指令，响应于所述启动指令，指示所述图像处理器开始