多类型数据源抽取方法、系统、终端设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113688183A(43)申请公布日2021.11.23(21)申请号202111252003.0(22)申请日2021.10.27(71)申请人深圳市信润富联数字科技有限公司地址518000广东省深圳市罗湖区桂园街道老围社区深南东路5016号蔡屋围京基一百大厦A座2001-06(72)发明人吴育校成建洪罗启铭杜冬冬陈功覃江威熊皓刘小双叶佩玉冯建设(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287代理人陈小娟(51)Int.Cl.G06F16/25(2019.01)G06F16/335(2019.01)权利要求书2页说明书11页附图3页(54)发明名称多类型数据源抽取方法、系统、终端设备以及存储介质(57)摘要本发明公开了一种多类型数据源抽取方法、系统、终端设备以及计算机可读存储介质，该多类型数据源抽取方法的步骤包括：在接收到数据抽取指令时，获取所述数据抽取指令对应的目标数据源的数据源类型；基于所述数据源类型，通过预设的配置规则和预设的抽取方式针对所述目标数据源执行数据抽取任务，得到数据抽取结果。本发明能够实现根据数据源类型采用相应的数据抽取方式进行数据抽取，使得各类型数据源都能应用于数据分析。CN113688183ACN113688183A权利要求书1/2页1.一种多类型数据源抽取方法，其特征在于，所述多类型数据源抽取方法包括：在接收到数据抽取指令时，获取所述数据抽取指令对应的目标数据源的数据源类型；基于所述数据源类型，通过预设的配置规则和预设的抽取方式针对所述目标数据源执行数据抽取任务，得到数据抽取结果。2.如权利要求1所述的多类型数据源抽取方法，其特征在于，在所述在接收到数据抽取指令时，获取所述数据抽取指令对应的目标数据源的数据源类型的步骤之前，还包括：接收针对多类型初始数据源的数据配置请求；根据所述数据配置请求对所述初始数据源进行配置，并得到所述配置规则，同时将所述配置规则进行存储。3.如权利要求2所述的多类型数据源抽取方法，其特征在于，所述根据所述数据配置请求对所述初始数据源进行配置，并得到所述配置规则的步骤，包括：基于所述数据配置请求判断所述初始数据源的类型；若判断到所述初始数据源为关系型数据源或者非关系型数据源，则配置所述初始数据源的基础信息、抽取频率和抽取时间节点，并得到第一配置规则。4.如权利要求3所述的多类型数据源抽取方法，其特征在于，所述基于所述数据源类型，通过预设的配置规则和预设的抽取方式针对所述目标数据源执行数据抽取任务的步骤，包括：判断所述目标数据源的数据源类型；若判断到所述目标数据源为关系型数据源，则基于所述第一配置规则，针对所述目标数据源通过预设第一抽取方式执行所述数据抽取任务；若判断到所述目标数据源为非关系型数据源，则基于所述第一配置规则，针对所述目标数据源通过预设第二抽取方式执行所述数据抽取任务。5.如权利要求3所述的多类型数据源抽取方法，其特征在于，在所述基于所述数据配置请求判断所述初始数据源的类型的步骤之后，还包括：若判断到所述初始数据源为实时数据源，则配置所述初始数据源的所述基础信息，并得到第二配置规则，其中所述基础信息中包含了所述初始数据源的主题；若判断到所述初始数据源为文本文件数据源，则基于所述数据配置请求获取所述初始数据源的本地文本文件，并得到第三配置规则。6.如权利要求5所述的多类型数据源抽取方法，其特征在于，所述基于所述数据源类型，通过预设的配置规则和预设的抽取方式针对所述目标数据源执行数据抽取任务的步骤，包括：判断所述目标数据源的数据源类型；若判断到所述目标数据源为实时数据源，则基于所述第二配置规则，针对所述目标数据源通过预设第三抽取方式执行所述数据抽取任务；若判断到所述目标数据源为文本文件数据源，则基于所述第三配置规则，针对所述目标数据源通过预设第四抽取方式执行所述数据抽取任务。7.如权利要求1所述的多类型数据源抽取方法，其特征在于，在所述基于所述数据源类型，通过预设的配置规则和预设的抽取方式针对所述目标数据源执行数据抽取任务，得到数据抽取结果的步骤之后，还包括：2CN113688183A权利要求书2/2页将所述数据抽取结果存入预设数据仓库，并输出所述数据抽取任务的完成消息。8.一种多类型数据源抽取系统，其特征在于，所述多类型数据源抽取系统包括：获取模块，用于在接收到数据抽取指令时，获取所述数据抽取指令对应的目标数据源的数据源类型；执行模块，用于基于所述数据源类型，通过预设的配置规则和预设的抽取方式针对所述目标数据源执行数据抽取任务，得到数据抽取结果。9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的多类型数据源抽取程序，所述多