数据标注方法、装置和系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108875768A(43)申请公布日2018.11.23(21)申请号201810064292.3(22)申请日2018.01.23(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号A座316-318(72)发明人谢津周昕宇张华翼(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰戴亚南(51)Int.Cl.G06K9/62(2006.01)权利要求书3页说明书21页附图4页(54)发明名称数据标注方法、装置和系统及存储介质(57)摘要本发明实施例提供一种数据标注方法、装置和系统以及存储介质。数据标注方法包括：从数据池的未标注数据集中选择第一数目的未标注数据；利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息，其中，预标注信息包括预标注结果；向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果，其中，第二数目的未标注数据为第一数目的未标注数据中的至少部分未标注数据；接收针对第二数目的未标注数据的预标注结果的反馈信息；以及基于反馈信息确定第二数目的未标注数据的最终标注结果。未标注数据先由数据标注系统进行预标注之后再交给用户进行检查，这样可以大大减小数据标注的人力成本。CN108875768ACN108875768A权利要求书1/3页1.一种数据标注方法，包括：从数据池的未标注数据集中选择第一数目的未标注数据；利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息，其中，所述预标注信息包括预标注结果；向显示装置输出第二数目的未标注数据和所述第二数目的未标注数据的预标注结果，其中，所述第二数目的未标注数据为所述第一数目的未标注数据中的至少部分未标注数据；接收针对所述第二数目的未标注数据的预标注结果的反馈信息；以及基于所述反馈信息确定所述第二数目的未标注数据的最终标注结果。2.如权利要求1所述的方法，其中，所述预标注信息还包括数据得分，在所述显示装置上，所述第二数目的未标注数据是按照所述第二数目的未标注数据的数据得分排列的，在所述向显示装置输出第二数目的未标注数据和所述第二数目的未标注数据的预标注结果之前，所述方法还包括：根据所述第二数目的未标注数据的数据得分对所述第二数目的未标注数据进行排序。3.如权利要求1所述的方法，其中，所述预标注信息还包括数据得分，在所述向显示装置输出第二数目的未标注数据和所述第二数目的未标注数据的预标注结果之前，所述方法还包括：从所述第一数目的未标注数据中选择数据得分大于第一得分阈值或者小于第二得分阈值的未标注数据作为所述第二数目的未标注数据；或者从所述第一数目的未标注数据中选择数据得分最高的所述第二数目的未标注数据。4.如权利要求1所述的方法，其中，所述利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息包括：在预定标注策略为高概率策略或边界策略的情况下，对于所述第一数目的未标注数据中的每个未标注数据，将该未标注数据输入所述标注模型进行类别预测，所述标注模型的输出结果用于指示该未标注数据属于至少一个预定类别的概率；以及确定所述至少一个预定类别中概率最大的预定类别为该未标注数据的预标注结果。5.如权利要求4所述的方法，其中，所述预标注信息还包括数据得分，所述利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息还包括：在所述预定标注策略为所述高概率策略的情况下，对于所述第一数目的未标注数据中的每个未标注数据，确定该未标注数据属于至少一个预定类别的概率中的最大概率，并将所述最大概率作为该未标注数据的数据得分。6.如权利要求1所述的方法，其中，所述利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息包括：在预定标注策略为高相似策略的情况下，对于所述第一数目的未标注数据中的每个未标注数据，将该未标注数据输入所述标注模型，以提取该未标注数据的数据特征；根据该未标注数据的数据特征与所述已标注数据集中的至少一个已标注数据的数据2CN108875768A权利要求书2/3页特征，计算该未标注数据与所述至少一个已标注数据之间的相似度；确定与该未标注数据之间的相似度最大的已标注数据所属的类别为该未标注数据的预标注结果。7.如权利要求6所述的方法，其中，所述预标注信息还包括数据得分，所述利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息还包括：在所述预定标注策略为所述高相似策略的情况下，对于所述第一数目的未标注数据中的每个未标注数据，确定该未标注数据与