数据集成综述报告.doc

PAGE-4-

数据集成综述报告
介绍了数据集成的产生的产生背景，阐述了针对数据集成的相关的概念，详细的说明了数据集成所使用的领域，及各个领域中具体的作用和技术，说明了数据集成的方法，及其发展中的各个阶段，最后是数据集成的发展趋势、方向。
数据集成的起源和概念
随着Internet的迅速发展，可共享的资源越来越多，对数据的描述千差万别，数据环境的差异也越来越大。不同行业、部门由于业务与功能的不同，各自都有着基于不同平台的信息服务和管理系统。这样，这些由不同核心技术构建的信息系统就形成了一个个的“信息孤岛”。而各个“孤岛”之间明显地存在着数据交流等诸多问题。由于不同数据源之间的信息和组织不同，构成了一个巨大而复杂的异构数据库环境。
就大型企业和政府部门的信息化而言，信息系统建设通常具有阶段性和分布性的特点，这就导致了“信息孤岛”现象的存在。“信息孤岛”造成系统中存在大量冗余数据、垃圾数据，无法保证数据的一致性，从而降低信息的利用效率和利用率，为了解决这一问题人们开始关注数据集成研究。
由于现代企业的飞速发展和企业逐渐从一个孤立节点发展成为不断与网络交换信息和进行商务事务的实体，企业数据交换也从企业内部走向了企业之间;同时，数据的不确定性和频繁变动，以及这些集成系统在实现技术和物理数据上的紧耦合关系，导致一旦应用发生变化或物理数据变动，整个体系将不得不随之修改。因此，我们进行数据集成将面临着如何适应现代社会发展的复杂需求、有效扩展应用领域、分离实现技术和应用需求、充分描述各种数据源格式以及发布和进行数据交换等问题。
数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。
数据集成的应用
数据集中管理已经成为中国金融、电信、以及各级政府部门建设IT系统的主要方向，随之产生了大量对于数据集成的市场需求。中国主要商业银行正在进行数据中心的建设，数据中心承担着数据容灾、网上银行等重要作用，对数据同步有很高的实时性要求。中国主要电信企业已经完成省级数据仓库的集中建设，正在进行分析功能完善工作。为保证得到可靠的分析结果，要求必须使用完整的、一致的、准确的数据。中国政府推动的电子政务建设工作取得重要成绩，在已完成的金税、金财、金保等信息化系统中积累了丰富的数据，正在通过金宏工程的建设来实现宏观经济管理部门的信息互通，为国家宏观经济决策提供支持。更重要的是，中国各行业企业都已通过信息化建设积累了大量的数据，企业对数据集成的需求持续增长。
数据集成应用领域
1、数据仓库应用
数据仓库的发展在国内差不多有近10个年头，数据仓库中的数据集成应用主要是围绕ETL的功能来实现，一般来说其主要功能是将多个业务系统不同种数据类型的数据抽取到数据仓库的ODS（OperationalDataStore）层，经过转换，加载存储到星型结构的数据仓库层，为满足不同主题的展现应用，再向关系型数据库或多维数据库进一步汇总加载，其ETL功能可由手工编程或专业工具软件这两种类型来实现。
由手工编程到专项ETL工具的应用是成熟的数据集成软件工具的雏形，是为快速达成项目功能需求，满足复杂的业务处理的需要而产生的。它以ETL为核心，开发技术也发挥得淋漓尽致，PB、JAVA、SQL、存储过程、C/C++都可能会悉数登场，多一种系统的数据集成就可能会多于一倍的开发工作量，使数据集成平台更趋于复杂、脆弱。另外，如电信、金融、税务、公安等行业的众多系统集成商针对各自的业务系统也开发有专项的数据集成工具，只是有一定的局限性，拘泥于某一种应用或某一特定的系统环境。
众多成熟的数据集成厂商都有专门的集成软件工具，如InformaticaPowerCenter、IBMDatastage、OracleODI、MicrosoftSISS等，集各种数据接口、ETL、数据质量、实时、数据联邦、分区并行、网格、HA等技术于一身，具有更宽广的应用、可扩展性强、安全稳定等一些特点。
2、数据迁移应用
这种应用比较容易理解，对于新旧系统升级、数据大集中时的数据作迁移，使数据更能顺应新系统的结构变化而平稳迁移。
3、数据合并应用
在企业并购中很容易产生数据合并的应用，如两个企业的HR系统的合并、财务系统的合并、其它业务系统的合并，当系统需要合并必然产生数据的合并，因此对企业数据进行统一标准化、规范化、数据的补缺、数据的一致性都将导致数据合并。
4、数据同步应用
当企业一个系统的业务活动会影响其它多个系统的进程时，数据的实时性、准确性就尤显重要。如航空公司与航