屏幕显示监控方法及装置、电子设备、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111340808A(43)申请公布日2020.06.26(21)申请号202010428063.2(22)申请日2020.05.20(71)申请人北京小米移动软件有限公司地址100085北京市海淀区西二旗中路33号院6号楼8层018号(72)发明人聂伟赵彬(74)专利代理机构北京善任知识产权代理有限公司11650代理人康艳青(51)Int.Cl.G06T7/00(2017.01)G06N20/00(2019.01)H04N5/76(2006.01)权利要求书3页说明书12页附图4页(54)发明名称屏幕显示监控方法及装置、电子设备、存储介质(57)摘要本公开是关于一种屏幕显示监控方法及装置、电子设备、存储介质。所述屏幕显示监控方法包括：检测到第一事件时，生成屏幕的录制指令；响应于录制指令，为屏幕创建录屏虚拟设备以及图层传输接口；触发录屏虚拟设备采集屏幕的显示图层数据，通过图层传输接口将显示图层数据向多媒体模块发送，多媒体模块将显示图层数据渲染合并为图像视频数据；对图像视频数据进行分析，确定屏幕的图像显示是否存在显示缺陷；在屏幕存在显示缺陷时，获取支持屏幕显示的处理单元的状态参数，将显示缺陷信息及状态参数向指定的端口发送。本公开能够基于上报信息确定缺陷出现原因，针对性生成相应的解决方案，提升电子设备的显示品质。CN111340808ACN111340808A权利要求书1/3页1.一种屏幕显示监控方法，其特征在于，所述方法包括：检测到第一事件时，生成屏幕的录制指令；响应于所述录制指令，为所述屏幕创建录屏虚拟设备以及图层传输接口；触发所述录屏虚拟设备采集所述屏幕的显示图层数据，通过所述图层传输接口将所述显示图层数据向多媒体模块发送，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据；对所述图像视频数据进行分析，确定所述屏幕的图像显示是否存在显示缺陷；在所述屏幕存在显示缺陷时，获取支持所述屏幕显示的处理单元的状态参数，将所述显示缺陷信息及所述状态参数向指定的端口发送。2.根据权利要求1所述的方法，其特征在于，所述检测到第一事件，包括：检测到脏区域在显示区域的占比超出第一设定阈值，持续时间达到设定时段；或检测到运行的应用数量超出第二设定阈值。3.根据权利要求1所述的方法，其特征在于，所述为所述屏幕创建录屏虚拟设备以及图层传输接口，包括：通过系统服务线程调用媒体投影线程，利用所述媒体投影线程为所述屏幕创建所述录屏虚拟设备；调用媒体编解码器接口线程，为所述录屏虚拟设备创建图层传输接口Surface。4.根据权利要求3所述的方法，其特征在于，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据，包括：所述多媒体模块基于所述Surface获取所述录屏虚拟设备的所述屏幕的显示图层数据，将所述屏幕的显示图层数据渲染合并为所述图像视频数据。5.根据权利要求1所述的方法，其特征在于，所述对所述图像视频数据进行分析之前，所述方法还包括：获取来自于不同电子设备的存在显示缺陷的图像视频数据，以及出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；或获取本地存在显示缺陷的图像视频数据，出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；将所获取的所述存在显示缺陷的图像视频数据、以及支持所述屏幕显示的处理单元的状态参数输入屏幕显示分析初级模型，通过所述屏幕显示分析初级模型对训练数据进行训练分析，生成训练分析结果；基于所述训练分析结果调整所述屏幕显示分析初级模型的分析参数，将调整完分析参数的所述屏幕显示分析初级模型作为屏幕显示分析模型。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：所述屏幕显示分析模型获取所述图像视频数据后，逐图像帧进行数据识别，确定所述图像视频数据中是否存在显示缺陷；存在显示缺陷时调用录制所述图像视频数据时对应的所述支持所述屏幕显示的处理单元的状态参数，将所述支持所述屏幕显示的处理单元的状态参数与所述屏幕显示分析模型中已训练的与所确定的所述显示缺陷对应的支持所述屏幕显示的处理单元的状态参数模型进行匹配，满足匹配条件时输出显示缺陷的信息。7.根据权利要求5或6所述的方法，其特征在于，所述支持所述屏幕显示的处理单元的2CN111340808A权利要求书2/3页状态参数包括以下参数的至少之一：出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息。8.根据权利要求1所述的方法，其特征在于，所述方法包括：通过所述指定的端口接收基于所述处理单元的状态参数确定的所述屏幕的显示缺陷的解决方案，基于所述解决方案对所述屏幕显示的处理单元的相关参数进行配置。9.一种屏幕显示监控装置，其特征在于，所述装置包括：检测单元，用于