数据标注方法、装置和系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108875769A(43)申请公布日2018.11.23(21)申请号201810064918.0(22)申请日2018.01.23(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号A座316-318(72)发明人谢津周昕宇张华翼(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰戴亚南(51)Int.Cl.G06K9/62(2006.01)权利要求书3页说明书23页附图4页(54)发明名称数据标注方法、装置和系统及存储介质(57)摘要本发明实施例提供一种数据标注方法、装置和系统以及存储介质。数据标注方法包括：获取第一数目的未标注数据及其预标注信息，预标注信息是利用标注模型对第一数目的未标注数据进行预标注得到的，预标注信息包括预标注结果；在显示界面上显示第一数目的未标注数据及其预标注结果；接收用户对第一数目的未标注数据的第一反馈信息；以及根据第一反馈信息确定第一数目的未标注数据的最终标注结果。根据本发明实施例的数据标注方法、装置和系统以及存储介质，先由数据标注系统对未标注数据进行预标注，并且可以在显示界面上显示这些未标注数据及其预标注结果，用户只需更改错误的预标注结果，这样做可以极大地提升标注效率，减小标注成本。CN108875769ACN108875769A权利要求书1/3页1.一种数据标注方法，包括：获取第一数目的未标注数据及其预标注信息，所述预标注信息是利用标注模型对所述第一数目的未标注数据进行预标注得到的，所述预标注信息包括预标注结果；在显示界面上显示所述第一数目的未标注数据及其预标注结果；接收用户对所述第一数目的未标注数据的第一反馈信息；以及根据所述第一反馈信息确定所述第一数目的未标注数据的最终标注结果。2.如权利要求1所述的方法，其中，所述显示界面包括标注区域和菜单栏区域，所述第一数目的未标注数据显示在所述标注区域内，所述菜单栏区域包括用于指示所述标注区域内数据的标注模式的模式控件，所述标注模式为高概率模式、高相似模式和边界模式中的一项或多项，所述获取第一数目的未标注数据及其预标注信息包括：确定用户通过所述模式控件选择的标注模式；根据所述选择的标注模式，利用所述标注模型对第二数目的未标注数据进行预标注，以获得所述第二数目的未标注数据的预标注信息，所述第一数目的预标注数据为所述第二数目的未标注数据中的至少部分未标注数据。3.如权利要求2所述的方法，其中，所述模式控件包括分别布置在不同位置的高概率控件、高相似控件和边界控件中的一项或多项，所述高概率控件、所述高相似控件和所述边界控件分别用于指示所述高概率模式、所述高相似模式和所述边界模式。4.如权利要求3所述的方法，其中，所述高相似控件、所述高概率控件和所述边界控件中的一项或多项中的每一项包括正例控件和负例控件，所述正例控件用于控制对应标注模式下的属于正例的未标注数据的显示，所述负例控件用于控制对应标注模式下的属于负例的未标注数据的显示。5.如权利要求2所述的方法，其中，所述模式控件为下拉列表控件，所述下拉列表控件提供与所述高概率模式、所述高相似模式和所述边界模式中的一项或多项分别对应的下拉列表项。6.如权利要求2所述的方法，其中，所述预标注信息还包括数据得分，所述获取第一数目的未标注数据及其预标注信息还包括：从所述第二数目的未标注数据中选择数据得分大于第一得分阈值或者小于第二得分阈值的未标注数据作为所述第一数目的未标注数据，或者从所述第二数目的未标注数据中选择数据得分最高的预设数目的未标注数据作为所述第一数目的未标注数据。7.如权利要求1所述的方法，其中，所述预标注信息还包括数据得分，在所述显示界面上，所述第一数目的未标注数据是按照所述第一数目的未标注数据的数据得分排列的。8.如权利要求1所述的方法，其中，所述显示界面包括菜单栏区域，所述菜单栏区域包括随机控件；所述方法还包括：当接收到针对所述随机控件的选择信息时，从未标注数据集中随机选择第三数目的未标注数据；在所述显示界面上显示所述第三数目的未标注数据；接收用户对所述第三数目的未标注数据的第二反馈信息；以及2CN108875769A权利要求书2/3页根据所述第二反馈信息确定所述第三数目的未标注数据的最终标注结果。9.如权利要求8所述的方法，其中，所述随机控件包括正例控件和负例控件，所述正例控件用于控制随机模式下的属于正例的未标注数据的显示，所述负例控件用于控制随机模式下的属于负例的未标注数据的显示。10.如权利要求1所述的方法，其中，所述显示界面包括菜单栏区域，所述菜单栏区域包括导出控件、生成测试集控件和初始化模型控件中的一项或多项，其中，所述导出控件用于控制将所述第一数目的未标注数