基于Elasticsearch的数据接入方法、系统、电子设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115934825A(43)申请公布日2023.04.07(21)申请号202310051408.0(22)申请日2023.02.02(71)申请人成都卓讯智安科技有限公司地址610093四川省成都市高新区科园二路10号3栋1单元7层1号(72)发明人母坤平(74)专利代理机构北京万驰专利代理事务所(普通合伙)16106专利代理师郭永(51)Int.Cl.G06F16/25(2019.01)G06F16/2455(2019.01)G06F16/33(2019.01)权利要求书2页说明书9页附图2页(54)发明名称基于Elasticsearch的数据接入方法、系统、电子设备和存储介质(57)摘要本发明公开了一种基于Elasticsearch的数据接入方法、系统、电子设备和存储介质，该方法包括：获取数据接入指令，根据数据接入指令确定目标数据源，目标数据源包括结构化数据库、和/或结构化文件、和/或半结构化文件；从预设读取配置数据中确定与目标数据源对应的目标配置数据，并基于目标配置数据从目标数据源中读取待接入数据；按照预设时间数据格式和预设空间数据格式将待接入数据转换为统一格式数据；若统一格式数据中存在文本文件，按预设抽取规则从文本文件中抽取正文文本；基于正文文本确定待提交数据，将待提交数据写入Elasticsearch，从而实现高效的将不同类型的数据接入Elasticsearch。CN115934825ACN115934825A权利要求书1/2页1.一种基于Elasticsearch的数据接入方法，其特征在于，所述方法包括：获取数据接入指令，根据所述数据接入指令确定目标数据源，所述目标数据源包括结构化数据库、和/或结构化文件、和/或半结构化文件；从预设读取配置数据中确定与所述目标数据源对应的目标配置数据，并基于所述目标配置数据从所述目标数据源中读取待接入数据；按照预设时间数据格式和预设空间数据格式将所述待接入数据转换为统一格式数据；若所述统一格式数据中存在文本文件，按预设抽取规则从所述文本文件中抽取正文文本；基于所述正文文本确定待提交数据，将所述待提交数据写入Elasticsearch。2.如权利要求1所述的方法，其特征在于，基于所述目标配置数据从所述目标数据源中读取待接入数据，具体为：若所述目标数据源为所述结构化数据库，基于所述目标配置数据连接所述结构化数据库并确定读取表和/或触发器，基于所述读取表从所述结构化数据库中读取需要单次读取的第一数据，和/或基于所述触发器从所述结构化数据库中读取需要循环读取的第二数据；若所述目标数据源为所述结构化文件，基于所述目标配置数据确定目标索引，根据所述目标索引从所述结构化文件中读取需要单次读取的第三数据和/或需要循环读取的第四数据；若所述目标数据源为所述半结构化文件，基于所述目标配置数据确定目标路径，根据所述目标路径从所述半结构化文件中读取需要单次读取的第五数据和/或需要循环读取的第六数据；根据所述第一数据、和/或所述第二数据、和/或所述第三数据、和/或所述第四数据、和/或所述第五数据、和/或所述第六数据确定所述待接入数据。3.如权利要求1所述的方法，其特征在于，在从预设读取配置数据中确定与所述目标数据源对应的目标配置数据之前，所述方法还包括：根据第一指令对所述结构化数据库的数据的预设基础信息、抽取文件路径、用于进行单次读取的读取表、用于进行循环读取的触发器、字段的类型、与需要全文检索的字段对应的分词器进行配置，得到第一目标配置数据；根据第二指令对所述结构化文件的数据的预设基础信息、抽取文件路径、数据读取索引、是否包含表头、数据之间的分隔符、字段的位置、字段的类型、与需要全文检索的字段对应的分词器、与循环读取对应的保存目录进行配置，得到第二目标配置数据；根据第三指令对所述半结构化文件的数据的预设基础信息、抽取文件路径、数据读取路径、字段的类型、与需要全文检索的字段对应的分词器、与循环读取对应的保存路径进行配置，得到第三目标配置数据；根据所述第一目标配置数据、所述第二目标配置数据和所述第三目标配置数据生成所述预设读取配置数据。4.如权利要求1所述的方法，其特征在于，按预设抽取规则从所述文本文件中抽取正文文本，具体为：若所述文本文件属于预设简单文件，根据所述文本文件的文件头或对所述文本文件进行遍历的结果确定目标字符集，根据所述目标字符集抽取所述正文文本；2CN115934825A权利要求书2/2页若所述文本文件属于预设复杂文件，基于预设进程抽取所述正文文本，并将所述正文文本保存磁盘中。5.如权利要求1所述的方法，其特征在于，在按预设抽取规则从所述文本文件中抽取正文文本之后，所述方法还包括：若所述正文文本中存在属于office类型的第一目