IBM InfoSphere DataStage V9.pdf

IBMInfoSphereDataStageV9.1产品介绍曾翔信息集成咨询顾问IMSWG,[e-mail]©2013IBMCorporation议程.IBMInfoSphereInformationServer–信息集成平台概况.IBMInfoSphereDataStage–功能和特点说明–系统架构.市场竞争优势–市场份额–客户成功案例2议程.IBMInfoSphereInformationServer–信息集成平台概况.IBMInfoSphereDataStage–功能和特点说明–系统架构.市场竞争优势–市场份额–客户成功案例3可信赖的信息需求贯穿在整个企业中BI报告和仪表盘数据仓库业务用户报表的准确性BI开发员部署信息的有效性数据模型员源系统层次和度量ETL开发员复杂数据的转换加快业务的分析数据分析员基于数据和元数据的共同理解没有集成将会引发什么问题?缺少协同妨碍技术和业务部门的协作未知的质量减少数据准确性&降低对数据的信心项目延迟增加项目的时间和财务预算费用增加更多的系统增加复杂性缺乏完整的视图无法做出有效的决策缺乏可信赖的信息影响各个层面的业务难以收回IT投资费用难以控制错失企业发展的机会现有系统和技术难以适应业务发展对业务需求响应慢，项目延由于错误的信息导致丌合理的决策期或失败企业整合海量信息很困难，信息整合要求复杂和精确OperationalDataTargets面临的严重问题CRM–缺少熟练地开发人员；决策支持系统要求整合信息；Business–SCMIntelligence–如何整合应用系统；–数据迁移很困难。SASERP为什么–数据需求经常变化；ExternalListsCRM–业务需求总是不断变化和扩展；–缺少标准的元数据。DistributionExplorationWarehouse可选方案DemographicDataMart–使用手工方式，投入密集人力，耗费大量资源；–投入大量时间和资金得到有限的不能扩展的解决方案；ContactDataMart–不同的项目在使用不同的工具，同样的元数据和转换逻辑需要多次开发。Billing/Accounts6IBM解决方案:IBMInformationServer传递可信赖的信息InfoSphereInformationServerInformationServicesDirector为整合信息和访问发布SOA服务归档业务术语&连接到数据源从源系统把数据组合、重构、异构信息分析理解源数据实时变化&完整地映射到目标准化和纠正信息的虚拟化数据捕获标系统访问MetadataServer/MetadataWorkbench跨信息整合生命周期的统一的元数据管理议程.IBMInfoSphereInformationServer–信息集成平台概况.IBMInfoSphereDataStage–功能和特点说明–系统架构.市场竞争优势–市场份额–客户成功案例8DataStage主要功能.设计–通过图形化开发界面，更灵活的生成处理流程–自上而下的开发方式–在同一界面完成转换，清洗和整合数据–可以处理非常规数据–同一作业支持汇总多种数据源.部署–运行和监控作业–添加和删除工程–设置作业监控限制条件和用户权限–作业追踪–测试，调试和部署作业–生成作业历史报告.管理–浏览和编辑元数据–导入和导出DataStage作业–报表审计追踪–管理DataStage资料库内容9DataStageDesigner–开发界面水印可以区分是何种类型的作业快速查找定位作业TheDataStage通过拖拽将面板放Designer是主要的在开发者习惯的地方作业开发工具，可以根据用户习惯排列界面。控件可以显示为大图标分类控件，可以编辑和自定义分类10内置了几十种数据转换控件.图形化开发界面，通过鼠标拖拽完成设计.超过50个内置的数据转换和数据处理控件，可以更快的开发和生成作业，缩短了项目周期。.内置大量的的数据转换函数，更容易实现复杂的转换逻辑.控件界面友好，快速定义控件，生成作业11DataStageDesigner–通过鼠标拖拽完成开发鼠标左键拖拽控件到桌面也可以先左键单击控件，然后鼠标移动到桌面再次单击放置控件.12开发示例传统开发(SQL表示转换逻辑)DataStage开发=>>...多个SQL处理实现数据转换加载(代码冗余)图形化快速开发易于修改维护...重用性差一个ETL任务完成易于监控..维护困难,如改变条件或者范围需要重写性能提高..不易监控,错误定位困难可重用性提高13数据转换处理•数据获取阶段•脏/异常数据过滤分流，不影响数据流程，日志中记录脏数据Reject信息•字段级数据质量管理（Null处理，类型约束，填补字符等）•数据处理阶段•约束分流(F