信息标注的方法、系统、电子设备以及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115756256A(43)申请公布日2023.03.07(21)申请号202211386165.8(22)申请日2022.11.07(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人李方张振鹏宋震(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204专利代理师王达佐马晓亚(51)Int.Cl.G06F3/0484(2022.01)G06F9/451(2018.01)H04N7/14(2006.01)权利要求书3页说明书11页附图3页(54)发明名称信息标注的方法、系统、电子设备以及存储介质(57)摘要本公开提供了信息标注的方法、系统、电子设备以及存储介质，涉及计算机视觉、深度学习、信息标注和图像处理等人工智能技术领域。具体实施方式包括：开始与所述第一电子设备的视频通话；响应于检测到标注发起操作，对当前显示的拍摄图像进行截屏，得到截屏图像，显示以所述截屏图像为背景的待标注画面；向所述第一电子设备发送包括待标注画面的屏幕共享信息流，以使所述第一电子设备显示所述待标注画面；响应于检测到标注操作，将标注操作对应的标注数据加入所述待标注画面。本公开可以对需要援助的现场人员提供实时和准确的标注。CN115756256ACN115756256A权利要求书1/3页1.一种信息标注的方法，用于目标电子设备，包括：开始与第一电子设备的视频通话，其中，所述目标电子设备在视频通话过程中显示所述第一电子设备的拍摄图像；响应于检测到标注发起操作，对当前显示的拍摄图像进行截屏，得到截屏图像，显示以所述截屏图像为背景的待标注画面；向所述第一电子设备发送包括待标注画面的屏幕共享信息流，以使所述第一电子设备显示所述待标注画面；响应于检测到标注操作，将标注操作对应的标注数据加入所述待标注画面。2.根据权利要求1所述的方法，其中，所述显示以所述截屏图像为背景的待标注画面，包括：打开新的页面，在所述页面中加入画写功能控件，将所述截屏图像确定为所述画写功能控件的背景，得到修改后页面；根据所述修改后页面，确定所述待标注画面。3.根据权利要求1或2所述的方法，其中，所述方法还包括：在所述向所述第一电子设备发送包括待标注画面的屏幕共享信息流之后，停止显示所述拍摄画面。4.根据权利要求1或2所述的方法，其中，所述方法还包括：响应于检测到标注结束操作，显示标注的标签输入区域；接收输入的标签，响应于检测到标签输入完成操作，将所述标注数据和所述标签，发送给所述标注确定模型的训练设备，其中，所述标签包括标注部件名称。5.根据权利要求4所述的方法，其中，所述标注确定模型的训练步骤包括：获取标注数据对应的拍摄图像和标注框坐标信息；利用所述拍摄图像、标注框坐标信息和所述标签，训练初始标注确定模型，得到所述标注确定模型。6.根据权利要求4所述的方法，其中，所述方法还包括：响应于检测到标注结束操作，断开视频通话，停止向所述第一电子设备发送包括待标注画面的屏幕共享信息流。7.一种信息标注的方法，用于第一电子设备，包括：向所述目标电子设备发送视频通话请求，响应于所述目标电子设备接通视频通话，开始与所述目标电子设备的视频通话，其中，所述目标电子设备响应于检测到标注发起操作，对当前显示的拍摄图像进行截屏，得到截屏图像，显示以所述截屏图像为背景的待标注画面；响应于接收到所述目标电子设备发送的包括待标注画面的屏幕共享信息流，显示所述待标注画面，其中，所述目标电子设备响应于检测到标注操作，将标注操作对应的标注数据加入所述待标注画面。8.根据权利要求7所述的方法，其中，所述方法还包括：响应于接收到所述目标电子设备发送的待标注画面的屏幕共享信息流，停止显示所述拍摄画面。9.根据权利要求7所述的方法，其中，所述第一电子设备为待援助现场的现场人员设2CN115756256A权利要求书2/3页备，所述拍摄图像呈现有问题部件；所述方法还包括：响应于模型库中不存在所述问题部件对应的模型，则向所述目标电子设备发送视频通话请求，其中，模型库中存在多个用于确定标注数据的模型，每个模型存在对应的问题部件。10.根据权利要求9所述的方法，其中，所述方法还包括：响应于所述模型库中存在所述问题部件对应的模型，则确定所述模型库中的、所述问题部件对应的标注确定模型；将至少一个所述拍摄图像输入所述标注确定模型，得到从所述标注确定模型输出的标注框坐标信息。11.根据权利要求9所述的方法，其中，所述方法还包括：确定并显示所述问题部件对应的操作步骤信息。12.根据权利要求11所述的方法，其中，所述方法还包括：确定所述标注框坐标信息指示的标注框；生成并显示包含