一种处理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114153728A(43)申请公布日2022.03.08(21)申请号202111423125.1(22)申请日2021.11.26(71)申请人联想（北京）有限公司地址100085北京市海淀区上地西路6号2幢2层201-H2-6(72)发明人杨尚大李辉(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人马丽张颖玲(51)Int.Cl.G06F11/36(2006.01)G06F9/451(2018.01)H04N5/76(2006.01)权利要求书2页说明书11页附图6页(54)发明名称一种处理方法、装置、设备及存储介质(57)摘要本申请公开了一种处理方法、装置、设备及存储介质，其中，所述方法包括：确定目标操作页面；获取包括所述目标操作页面的操作流程的预录制视频流；根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作；对所述目标操作页面执行所述处理操作。CN114153728ACN114153728A权利要求书1/2页1.一种处理方法，所述方法包括：确定目标操作页面；获取包括所述目标操作页面的操作流程的预录制视频流；根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作；对所述目标操作页面执行所述处理操作。2.根据权利要求1所述的方法，所述根据所述预录制视频流中控件图像的图像变化信息确定对所述目标操作页面进行的处理操作，包括：从所述预录制视频流中确定操作开始帧和与所述操作开始帧对应的操作结束帧；根据所述操作开始帧和所述操作结束帧之间的控件图像的图像变化信息确定所述处理操作。3.根据权利要求2所述的方法，所述从所述预录制视频流中确定所述操作开始帧，包括：播放所述预录制视频流；将所述预录制视频流中当前播放的视频帧确定为预选视频帧；根据所述预选视频帧与所述目标操作页面的页面图像，确定所述操作开始帧。4.根据权利要求2所述的方法，所述从所述预录制视频流中确定所述操作结束帧，包括：从所述操作开始帧中识别目标控件图像；依次从所述操作开始帧的后续视频帧中识别满足目标条件的视频帧，将首次识别到的视频帧作为所述操作结束帧；所述目标条件包括：该视频帧中包含所述目标控件图像，且与所述目标控件图像存在差异。5.根据权利要求4所述的方法，所述目标条件还包括以下至少之一：该视频帧与所述操作开始帧的相似度大于第一相似度阈值；该视频帧的特定区域图像与所述操作开始帧中的特定区域图像相同；该视频帧中的第一控件的图像与所述开始视频帧中的第一控件的图像位置相同。6.根据权利要求2所述的方法，所述根据所述操作开始帧和所述操作结束帧之间的控件图像的图像变化信息确定所述处理操作，包括：确定目标控件图像对应的控件类别；根据所述操作结束帧中控件图像相对于所述操作开始帧中控件图像的目标控件变化图像确定动作信息；基于所述控件类别和所述动作信息确定所述处理操作。7.根据权利要求1所述的方法，在所述目标操作页面上呈现至少两个待操作控件的情况下，所述对所述目标操作页面执行所述处理操作，包括：在所述预录制视频流中，确定所述至少两个待操作控件匹配的图像帧集合；确定所述图像帧集合在所述预录制视频流中的时间序列；基于所述时间序列，确定所述至少两个待操作控件对应的处理操作的执行顺序；按照所述执行顺序对所述至少两个待操作控件执行所述处理操作。8.根据权利要求1所述的方法，所述获取包括所述目标操作页面的操作流程的预录制2CN114153728A权利要求书2/2页视频流，包括：从操作视频库中获取一个或多个预选视频流；根据所述预选视频流的首帧图像和所述目标操作页面的起始页面图像，从所述预选视频流中确定所述预录制视频流。9.根据权利要求1所述的方法，所述方法还包括：确定对所述目标操作页面进行处理的处理结果图像；比较所述处理结果图像与所述预录制视频流中与所述处理结果图像对应的视频帧，根据比较结果输出提示信息。10.一种电子设备，包括：处理器、存储器和通信总线；所述通信总线用于实现所述处理器和所述存储器之间的通信连接；所述处理器用于执行所述存储器中的程序，以实现如权利要求1至9中任一项所述的处理方法。3CN114153728A说明书1/11页一种处理方法、装置、设备及存储介质技术领域[0001]本申请涉及数据处理技术领域，尤其涉及一种处理方法、装置、设备及存储介质。背景技术[0002]相关技术中，在机器人流程自动化(Roboticprocessautomation，RPA)、自动化回归测试等自动化控制场景中，用户界面(UserInterface，UI)的自动控制效率较低，稳定性、兼容性较差。发明内容[0003]有鉴于此，本申请实施例提供了一种处理方法、装置、