数据处理方法、装置及计算机可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115062676A(43)申请公布日2022.09.16(21)申请号202210989796.2(22)申请日2022.08.18(71)申请人北京大学地址100871北京市海淀区颐和园路5号申请人北京大学重庆大数据研究院(72)发明人胡波张鹏翼门蓉韦崇凯(74)专利代理机构北京康信知识产权代理有限责任公司11240专利代理师董文倩(51)Int.Cl.G06K9/00(2022.01)G06K9/62(2022.01)G06T7/70(2017.01)G01S7/48(2006.01)权利要求书2页说明书8页附图3页(54)发明名称数据处理方法、装置及计算机可读存储介质(57)摘要本发明公开了一种数据处理方法、装置及计算机可读存储介质。其中，该方法包括：获取目标非结构化数据；采用预定打标模型，对目标非结构化数据进行打标，得到目标非结构化数据的新增标签；确定目标非结构化数据的历史标签，其中，历史标签为来自预定数据库中的已有标签；基于新增标签和历史标签，对目标非结构化数据进行打标，得到目标非结构化数据的目标标签。本发明解决了针对非结构化数据打标效果差、效率低、实时性差的技术问题。CN115062676ACN115062676A权利要求书1/2页1.一种数据处理方法，其特征在于，包括：获取目标非结构化数据；采用预定打标模型，对所述目标非结构化数据进行打标，得到所述目标非结构化数据的新增标签；确定所述目标非结构化数据的历史标签，其中，所述历史标签为来自预定数据库中的已有标签；基于所述新增标签和所述历史标签，对所述目标非结构化数据进行打标，得到所述目标非结构化数据的目标标签。2.根据权利要求1所述的方法，其特征在于，所述采用预定打标模型，对所述目标非结构化数据进行打标，得到所述目标非结构化数据的新增标签，包括：在所述目标非结构化数据为采用分布式流的处理方式获取的多个非结构化数据的情况下，基于对应的分布式流的处理方式，采用所述预定打标模型，对所述目标非结构化数据进行打标，得到所述目标非结构化数据的新增标签。3.根据权利要求2所述的方法，其特征在于，所述分布式流的处理方式所采用的分布式计算引擎为Flink引擎。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述新增标签和所述历史标签分别存储至预定分布式数据库中。5.根据权利要求1所述的方法，其特征在于，所述基于所述新增标签和所述历史标签，对所述目标非结构化数据进行打标，得到所述目标非结构化数据的目标标签，包括：在所述新增标签和所述历史标签为不同类型标签的情况下，对所述新增标签和所述历史标签进行组合，得到组合标签；将所述组合标签设置为所述目标非结构化数据的所述目标标签。6.根据权利要求1所述的方法，其特征在于，所述基于所述新增标签和所述历史标签，对所述目标非结构化数据进行打标，得到所述目标非结构化数据的目标标签，包括：在所述新增标签和所述历史标签为相同类型标签的情况下，获取所述新增标签和所述历史标签之间的标签差异；基于所述标签差异对所述历史标签进行调整，得到历史更新标签；将所述历史更新标签设置为所述目标非结构化数据的所述目标标签。7.根据权利要求1所述的方法，其特征在于，在所述基于所述新增标签和所述历史标签，对所述目标非结构化数据进行打标，得到所述目标非结构化数据的目标标签之后，还包括以下至少之一：通过应用接口将所述目标标签提供给应用程序，供所述应用程序调用；将所述目标标签更新到存储所述历史标签的所述预定数据库中；对所述目标非结构化数据，以及所述目标非结构化数据的所述目标标签进行展示。8.一种数据处理装置，其特征在于，包括：获取模块，用于获取目标非结构化数据；第一打标模块，用于采用预定打标模型，对所述目标非结构化数据进行打标，得到所述目标非结构化数据的新增标签；确定模块，用于确定所述目标非结构化数据的历史标签，其中，所述历史标签为来自预2CN115062676A权利要求书2/2页定数据库中的已有标签；第二打标模块，用于基于所述新增标签和所述历史标签，对所述目标非结构化数据进行打标，得到所述目标非结构化数据的目标标签。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的数据处理方法。10.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序；所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行权利要求1至7中任意一项所述的数据处理方法。3CN115062676A说明书1/8页数据处理方法、装置及计算机可读存储介质技术领域[0001]本发明涉