预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共12页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113836136A(43)申请公布日2021.12.24(21)申请号202110966198.9(22)申请日2021.08.20(71)申请人南京博雅区块链研究院有限公司地址210000江苏省南京市鼓楼区汉中门大街301号1102-2室(72)发明人孙圣力刘相岑李青山司华友(74)专利代理机构无锡永乐唯勤专利代理事务所(普通合伙)32369代理人孙际德(51)Int.Cl.G06F16/22(2019.01)G06F16/245(2019.01)G06F16/25(2019.01)G06F16/28(2019.01)权利要求书2页说明书6页附图3页(54)发明名称防贫预警方法、装置、电子设备及存储介质(57)摘要本发明提供了一种防贫预警方法、装置、电子设备及存储介质,防贫预警方法包括将采集到的外部数据整合至Hive数据库内,经整合后的数据具有唯一身份标识及若干防贫预警属性;构建包括有若干标签的标签体系,各标签均对应于一种与防贫预警属性相关业务规则。针对各标签的业务规则生成SparkSQL从所述Hive数据库内查询到与各标签对应的数据;将查询到的与各标签对应的数据的身份标识存储至REDIS索引表内。根据预定的防贫预警规则确定标签组合,标签组合包括至少两个标签。从REDIS索引表内获取到与标签组合相匹配的身份标识。从Hive数据库内获取与身份标识对应的数据。本发明将采集到的外部数据整合至Hive数据库中,并通过对数据进行标签化处理以实现对目标数据的快速获取。CN113836136ACN113836136A权利要求书1/2页1.一种防贫预警方法,其特征在于,其包括:将从多个外部数据源中采集到的外部数据整合至Hive数据库内,其中,经整合后的数据均具有唯一的身份标识及若干防贫预警属性;基于预定的业务规则构建包括有若干标签的标签体系,各所述标签均对应于一种业务规则,所述业务规则与至少一个所述防贫预警属性相关;针对各所述标签的业务规则自动生成SparkSQL并通过所述SparkSQL从所述Hive数据库内查询到与各所述标签对应的数据;将查询到的与各所述标签对应的数据的身份标识存储至REDIS索引表内;根据预定的防贫预警规则确定标签组合,所述标签组合包括至少两个所述标签;从所述REDIS索引表内获取到与所述标签组合相匹配的身份标识;从所述Hive数据库内获取与所述身份标识对应的数据。2.如权利要求1所述的防贫预警方法,其特征在于,所述将从若干外部数据源中采集到的外部数据整合至集成有Spark引擎的Hive数据库内包括:从若干外部数据源中采集外部数据并基于身份标识完成数据融合;按预定的转换规则对数据进行转换,经转换后的数据具有若干防贫预警属性;将转换后的数据写入至消息队列中;从消息队列中获取数据并将数据长存储至Hive数据库中。3.如权利要求2所述的防贫预警方法,其特征在于:所述多个外部数据源至少包括关系型数据库和非关系型数据库,所述从多个外部数据源中采集外部数据并基于身份标识完成数据融合包括:经JDBC接口与所述多个外部数据源分别连接以采集外部数据;将采集到的外部数据转化成具有统一格式的数据;基于唯一的身份标识完成数据融合。4.如权利要求1所述的防贫预警方法,其特征在于,所述从所述REDIS索引表内获取到与所述标签组合相匹配的身份标识包括:以所述标签组合中的各所述标签为检索词,分别从所述REDIS索引表内检索出对应的身份标识集合;对检索到的各身份标识集合作交集处理以获得与所述标签组合相匹配的身份标识。5.如权利要求1所述的防贫预警方法,其特征在于,所述Hive数据库上集成有Spark引擎,所述SparkSQL经所述Spark引擎从所述Hive数据库内查询到与各所述标签对应的数据;所述消息队列为Kafka消息队列。6.一种防贫预警系统,其特征在于,所述防贫预警系统包括:整合模块,用于将从多个外部数据源中采集到的外部数据整合至Hive数据库内,其中,经整合后的数据均具有唯一的身份标识及若干防贫预警属性;标签构建模块,用于基于预定的业务规则构建包括有若干标签的标签体系,各所述标签均对应于一种业务规则,所述业务规则与至少一个所述防贫预警属性相关;第一查询模块,用于针对各所述标签的业务规则自动生成SparkSQL并通过所述SparkSQL从所述Hive数据库内查询到与各所述标签对应的数据;2CN113836136A权利要求书2/2页存储模块,用于将查询到的与各所述标签对应的数据的身份标识存储至REDIS索引表内;标签组合确定模块,用于根据预定的防贫预警规则确定标签组合,所述标签组合包括至少两个所述标签;第二查询模块,用于从所述REDIS索引表内查询到与所述标签组合相匹