一种基于分层框架的数据智能分流方法、系统及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113986872A(43)申请公布日2022.01.28(21)申请号202111080824.0(22)申请日2021.09.15(71)申请人深圳番多拉信息科技有限公司地址518000广东省深圳市光明区玉塘街道田寮社区同观大道3号证通电子产业园二期1002(72)发明人刘祥涛(74)专利代理机构深圳腾文知识产权代理有限公司44680代理人王娟(51)Int.Cl.G06F16/21(2019.01)G06F9/30(2006.01)权利要求书2页说明书10页附图5页(54)发明名称一种基于分层框架的数据智能分流方法、系统及装置(57)摘要本申请公开了一种基于分层框架的数据智能分流方法、系统、装置以及存储介质，用于对数据进行分流入库，提高数据分流效率并实现更细粒度的数据分流。本申请方法包括：获取目标数据，并通过预设的分流规则、分流算法以及分流模型对所述目标数据进行分析，并生成分流信息；根据所述分流信息生成分流指令，并将所述分流指令传输至预配置的数据分层框架中的目标分流执行器；通过所述目标分流执行器根据所述分流指令在所述数据分层框架中的两个相邻分流层之间对所述目标数据进行分流，所述数据分层框架中预配置有多个分流层，所述分流层用于对数据进行分流。CN113986872ACN113986872A权利要求书1/2页1.一种基于分层框架的数据智能分流方法，其特征在于，所述方法包括：获取目标数据，并通过预设的分流规则、分流算法以及分流模型对所述目标数据进行分析，并生成分流信息；根据所述分流信息生成分流指令，并将所述分流指令传输至预配置的数据分层框架中的目标分流执行器；通过所述目标分流执行器根据所述分流指令在所述数据分层框架中的两个相邻分流层之间对所述目标数据进行分流，所述数据分层框架中预配置有多个分流层，所述分流层用于对数据进行分流。2.根据权利要求1中所述的基于分层框架的数据智能分流方法，其特征在于，所述数据分层框架中的多个分流层通过时间的先后关系进行配置。3.根据权利要求1中所述的基于分层框架的数据智能分流方法，其特征在于，当分流层对目标数据进行分流时，在所述数据分层框架中，任意一个层中的一组或者多组数据被分流至相邻层中的一组或者多组数据中。4.根据权利要求1中所述的基于分层框架的数据智能分流方法，其特征在于，所述根据预设的分流规则对所述目标数据进行分析，并生成分流信息包括：对所述目标数据的数据结构进行分析，并根据所述数据结构生成分流信息；或\和对所述目标数据中的数据字段进行分析，并根据所述数据字段生成分流信息；或\和对所述目标数据中的关键词进行分析，并根据所述关键词生成分流信息。5.根据权利要求1中所述的基于分层框架的数据智能分流方法，其特征在于，所述分流模型为支持向量机算法的模型，所述分流模型通过如下方法获得：读取支持向量机模型的参数；判断所述支持向量机模型是否超过预设的时间周期，若是，则读取历史分流数据，并对所述历史分流数据进行向量化，获得向量数据；根据所述向量数据对所述支持向量机模型进行训练，得到收敛的所述分流模型。6.根据权利要求1至5中任一项所述的基于分层框架的数据智能分流方法，其特征在于，所述分流算法通过如下方法获得：对数据分布以及业务需求进行分析，得到数据分流需求；根据所述分流需求形成算法程序以及算法参数。7.一种基于分层框架的数据智能分流系统，其特征在于，所述系统包括相互耦合的：分流引擎子系统，用于获取目标数据，并通过预设的分流规则、分流算法以及分流模型对所述目标数据进行分析，并生成分流信息；分流执行调度中心，用于根据所述分流信息生成分流指令，并将所述分流指令传输至预配置的数据分层框架中的目标分流执行器；分流执行器，用于根据所述分流指令在所述数据分层框架中的两个相邻分流层之间对所述目标数据进行分流，所述数据分层框架中预配置有多个分流层，所述分流层用于对数据进行分流。8.根据权利要求7中所述的基于分层框架的数据智能分流系统，其特征在于，所述分流2CN113986872A权利要求书2/2页引擎子系统包括：分流规则单元，所述分流规则单元用于存储所述分流规则以及用于根据所述分流规则对所述目标数据进行分析，并生成分流信息；分流算法单元，所述分流算法单元用于运行和存储所述算法，以及用于根据所述分流算法对所述目标数据进行分析，并生成分流信息；以及分流模型单元，所述分流模型单元用于存储所述分流模型的模型参数以及根据所述分流模型对所述目标数据进行分析，并生成分流信息。9.根据权利要求7中所述的基于分层框架的数据智能分流系统，其特征在于，所述分流执行器配置于所述数据分流框架中任意两个相邻层之间。10.一种基于分层框架的数据智能分流装置，其特征在于，所述装置