一种数据处理的方法、装置、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113778502A(43)申请公布日2021.12.10(21)申请号202010629623.0G06F9/445(2018.01)(22)申请日2020.06.29(71)申请人北京沃东天骏信息技术有限公司地址100083北京市海淀区杏石口路65号西杉创意园四区11号楼东段1-4层西段1-4层申请人北京京东世纪贸易有限公司(72)发明人马东周默王云涛(74)专利代理机构北京德琦知识产权代理有限公司11018代理人郑红娟宋志强(51)Int.Cl.G06F8/71(2018.01)G06F16/25(2019.01)G06F16/22(2019.01)权利要求书2页说明书8页附图3页(54)发明名称一种数据处理的方法、装置、系统和存储介质(57)摘要本申请公开了一种数据处理的方法、装置、系统和存储介质，具体为首先加载至少一个数据源接口，其次，基于数据源接口获取待处理信息，进一步地，基于待处理信息携带的分类标签，加载信息处理插件，并生成待处理信息经过处理后对应的已处理信息，最后，将已处理信息转换为相应的存储格式并进行存储。本申请实施例通过快速接入数据源接口，配置完成数据的接收、处理和存储，适应了小而多的数据处理需求，提升了计算和存储效率。CN113778502ACN113778502A权利要求书1/2页1.一种数据处理的方法，其特征在于，包括：加载至少一个数据源接口；基于所述数据源接口获取待处理信息；基于所述待处理信息携带的分类标签，加载信息处理插件，并生成所述待处理信息经过处理后对应的已处理信息；将所述已处理信息转换为相应的存储格式并进行存储。2.根据权利要求1所述的方法，其特征在于，在所述基于所述数据源接口获取待处理信息的步骤之后，所述方法进一步包括：记录在预设时间段内获取的所述待处理信息的第一数量，以及记录在所述预设时间段内获取的所述已处理信息的第二数量；比较所述第一数量和所述第二数量的数值大小，并在当所述第二数量小于所述第一数量且第二数量与所述第一数量的差值小于预设阈值时，调整对所述待处理信息的获取速度和第一线程数量，和/或对所述待处理信息的获取速度和第二线程数量。3.根据权利要求1所述的方法，其特征在于，所述并生成所述待处理信息经过处理后对应的已处理信息的步骤和所述将所述已处理信息转换为相应的存储格式并进行存储的步骤之间，所述方法进一步包括：加载过滤器，并通过所述过滤器对标记有过滤标签的所述已处理信息进行过滤。4.一种数据处理的装置，其特征在于，所述装置包括：加载模块，用于加载至少一个数据源接口；获取模块，用于基于所述数据源接口获取待处理信息；生成模块，用于基于所述待处理信息携带的分类标签，加载信息处理插件，并生成所述待处理信息经过处理后对应的已处理信息；存储模块，用于将所述已处理信息转换为相应的存储格式并进行存储。5.根据权利要求4所述的装置，其特征在于，所述装置进一步包括：采集模块，用于记录在预设时间段内获取的所述待处理信息的第一数量，以及记录在所述预设时间段内获取的所述已处理信息的第二数量；调整模块，用于比较所述第一数量和所述第二数量的数值大小，并在当所述第二数量小于所述第一数量且第二数量与所述第一数量的差值小于预设阈值时，调整对所述待处理信息的获取速度和第一线程数量，和/或对所述待处理信息的获取速度和第二线程数量。6.根据权利要求4所述的装置，其特征在于，所述装置进一步包括：过滤模块，用于加载过滤器，并通过所述过滤器对标记有过滤标签的所述已处理信息进行过滤。7.一种数据处理系统，其特征在于，所述系统包括数据源层、数据通道层、数据处理层、数据适应层和数据存储层，其中，所述数据源层用于提供至少一个数据源接口，并通过所述数据通道层传输待处理信息；所述数据处理层用于对通过所述数据通道层获取的所述待处理信息进行处理，以生成已处理信息；所述数据适应层用于将所述已处理信息转换为相应的存储格式；所述数据存储层用于将所述已处理信息存储于与所述存储格式对应的存储介质中。2CN113778502A权利要求书2/2页8.根据权利要求7所述的系统，其特征在于，所述数据处理系统进一步包括系统管理层，所述数据管理层用于：与所述数据源层和所述数据通道层进行交互以记录在预设时间段内获取的所述待处理信息的第一数量，以及与所述数据通道层进行交互以记录在所述预设时间段内获取的所述已处理信息的第二数量；比较第一数量和所述第二数量的数值大小，并在当所述第二数量小于所述第一数量且第二数量与所述第一数量的差值小于预设阈值时，通过所述数据通道层调整对所述待处理信息的获取速度和第一线程数量，和/或对所述待处理信息的获取速度和第二线程数量。9.根据权利要求7所述的系统，其特征在于，所