针对大数据多场景多数据源自适应入湖系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115964447A(43)申请公布日2023.04.14(21)申请号202211679410.4(22)申请日2022.12.26(71)申请人霖久智慧（广东）科技有限公司地址519000广东省珠海市横琴新区宝华路6号105室-67850（集中办公区）(72)发明人王新星余成园林志远(74)专利代理机构北京奇眸智达知识产权代理有限公司11861专利代理师游玉香(51)Int.Cl.G06F16/28(2019.01)G06F16/25(2019.01)权利要求书1页说明书4页附图2页(54)发明名称针对大数据多场景多数据源自适应入湖系统(57)摘要本发明提供针对大数据多场景多数据源自适应入湖系统，涉及数据储存领域。该针对大数据多场景多数据源自适应入湖系统是由客户端、数据模块、识别模块、数据同步模块、数据处理模块、自动识别模块和储存模块，客户端的输出端与数据库模块的输出端电性连接，数据库模块的输出端与识别模块、数据同步模块、数据处理模块和自动识别模块的输入端电性连接。通过数据处理模块的过滤模块、校验模块和数据脱敏模块，数据脱敏模块指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护，对数据进行实时监控，对业务系统处理延迟对于业务数据延迟，以上的设计达到了对花费更对时间处理配置、业务系统结构化数据源的效果。CN115964447ACN115964447A权利要求书1/1页1.针对大数据多场景多数据源自适应入湖系统，所述针对大数据多场景多数据源自适应入湖系统是由客户端、数据库模块、识别模块、数据同步模块、数据处理模块、自动识别模块和储存模块，所述客户端的输出端与数据模块的输出端电性连接，所述数据库模块的输出端与识别模块、数据同步模块、数据处理模块和自动识别模块的输入端电性连接，所述识别模块、数据同步模块、数据处理模块和自动识别模块的输出端与存储模块的输入端电性连接。2.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述识别模块包括监控模块、运维模块和告警模块，所述识别模块的输出端与监控模块、运维模块和告警模块的输入端电性连接，所述运维模块的输入端与监控模块和告警模块的输出端电性连接。3.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述数据同步模块包括数据源库表模块、整表模块、整库多表模块、单表模块和字段级数据模块，所述数据同步模块的输出端与整表模块、整库多表模块、单表模块和字段级数据模块的输入端电性连接。4.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述自动识别模块包括字段类型单元、字段注释单元、湖仓表字单元和湖仓建表规范的建表语句自动化建表单元，所述自动识别模块的输出端与字段类型单元、字段注释单元、湖仓表字单元和湖仓建表规范的建表语句自动化建表单元的输入端电性连接。5.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述数据处理模块的输出端与输入数据模块的输入端电性连接，所述输入数据模块的输出端与过滤模块的输入端电性连接，所述过滤模块的输出端与校验模块的输入端电性连接，所述校验模块的输出端与数据脱敏模块的输入端电性连接。6.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述数据库模块包括弹性资源模块，所述数据库模块的输出端与弹性资源模块的输入端电性连接，弹性资源模块的输出端与统计业务模块的输入端电性连接，所述统计业务模块的输出端与所需资源模块的输入端电性连接，所述所需资源模块的输出端与抽取批次阙值模块的输入端电性连接。7.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述弹性资源模块的输出端与存储模块的输入端电性连接，所述弹性资源模块是用来根据调整服务资源来进行抽取。8.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述数据库模块包括拔插模块，所述数据库模块的输出端与拔插模块的输入端电性连接，所述拔插模块的输出端与存储模块的输入端电性连接。2CN115964447A说明书1/4页针对大数据多场景多数据源自适应入湖系统技术领域[0001]本发明涉及数据储存技术领域，具体为针对大数据多场景多数据源自适应入湖系统。背景技术[0002]数据入湖(入仓)是所有公司在大数据技术领域不可或缺的第一步，在最初大数据兴起时期几乎所有公司数据入仓无可避免都在使用SQOOP+FLUME组件进行数据的入仓同步工作，在2018年开源了Datax数据同步工具再次推动了技术的更新，采用kettle、Datax工具完成数据入仓操作，随着业务的逐渐繁琐与复杂，使用以上工具开发任务变得越来越繁重，开