一种多维数据接入方法及系统、大数据接入系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108573048A(43)申请公布日2018.09.25(21)申请号201810353967.6(22)申请日2018.04.19(71)申请人中译语通科技股份有限公司地址100040北京市石景山区石景山路20号16层1601(72)发明人张宝华高巍晨隗公程程国艮(74)专利代理机构北京万贝专利代理事务所(特殊普通合伙)11520代理人马红(51)Int.Cl.G06F17/30(2006.01)权利要求书1页说明书4页附图2页(54)发明名称一种多维数据接入方法及系统、大数据接入系统(57)摘要本发明属于大数据处理技术领域，公开了一种多维数据接入方法及系统、大数据接入系统，将不同地点的，或具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接起来，在统一管理控制下，协调地完成大规模信息处理任务的计算机系统。同时分布式系统下的数据库系统与传统的数据库不同，由于多维数据接入方法系统对数据库的优化处理，也源自于多维数据接入方法系统对技术的封装，更高效、更快速的对海量结构化数据进行处理导致多维数据接入方法系统能够完美的兼容不同类型的数据库，更能将数据库的功效发挥到极致。本发明实时接入爬取的原始数据，为使用者提供垂直领域提供各类数据的接入以及留档；同时提供的统计以及告警功能。CN108573048ACN108573048A权利要求书1/1页1.一种多维数据接入方法，其特征在于，所述多维数据接入方法将不同地点的，或具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接，在统一管理控制下，完成大规模信息处理任务的计算机系统；同时分布式系统下的数据库系统兼容不同类型的数据库。2.如权利要求1所述的多维数据接入方法，其特征在于，所述多维数据接入方法实时接入爬取的原始数据，为使用者提供垂直领域提供各类数据的接入以及留档；进行初级的治理加工，提供给下一层的治理使用，同时提供统计及告警功能。3.一种实现权利要求1～2任意一项所述多维数据接入方法的大数据接入系统。4.一种如权利要求1所述多维数据接入方法的多维数据接入系统，其特征在于，所述多维数据接入系统包括：去重模块，用于按照数据类型分别用url去重，当发生url重复时，对进入的数据将被过滤；转换模块，用于将供应商的数据映射到译见统一的字段上；媒体源处理模块，用于在数据中心的运行管理平台管理，支持词典的手动修改；同时，实时加载改动之后的词典项；国家治理模块，用于利用运行管理平台提供的国家中英名称以及别名字典，新闻数据中的国家名进行治理；乱码识别模块，用于识别标题正文中的js脚本；数据预警模块，用于为每一类数据设定预警阀值，通过各类数据的数据量统计，当数据没有达到阀值时进行实时预警；统计模块，用于对各类数据进行实时的数据量统计，每隔一段时间输出一次统计结果，然后清零。5.一种应用权利要求4所述多维数据接入系统的大数据接入系统。2CN108573048A说明书1/4页一种多维数据接入方法及系统、大数据接入系统技术领域[0001]本发明属于大数据处理技术领域，尤其涉及一种多维数据接入方法及系统、大数据接入系统。背景技术[0002]目前，业内常用的现有技术是这样的：多维数据接入方法适用于接入实时数据和离线数据，实时数据通过流式处理实时响应，离线数据通过分布式计算并行处理。国内其他的接入方法主要是接入关系型数据库和非关系型数据库中的一种，但是需要在一个接入方法中对不同类型数据库进行操作，这些单一的接入方法就很难实现需求。每次接入新的数据源都会带来开发、测试、调试和运维等多方面工作，还有可能由于数据源驱动版本不一致问题导致性能和稳定等问题。[0003]综上所述，现有技术存在的问题是：[0004](1)灵活配置，通过版本选择自动适配不同的数据源；[0005](2)通过元数据管理，实现数据接入的字段映射；[0006](3)默认集成多种ETL处理方法；减少二次开发；[0007]解决上述技术问题的难度和意义：多维数据接入方法是一种分布式ETL解决方案，利用Hadoop平台的数据处理能力，能够有效的处理非结构化和半结构化的数据，并由用户来指定数据属性和预制的数据处理组件，灵活对各种类型的海量数据进处理。大数据应用于各行各业，接入的数据类型繁多，各个数据类型的接入方式和结构都不尽相同，由于各个类型的差异，每一种类型都需要单独的开发工作来匹配数据，目前绝大多数据接入系统缺乏复用性和灵活性，当遇到不同需求时就需要从新开发一套新的接入系统，然而多维数据接入方法通过可配置的原则实现海量数据的实时及离线接入可以根据不同需要进行，多维数据接入方法系统填补了我国在此项技术上的空白。发明内容[0008]针对现有技术存在的问题，本发明提供了一种多维数据