京东大数据架构分析20.pdf

京东大数据基础架构和实践王彦明京东大数据平台部http://weibo.com/opendayjd关于我王彦明大数据平台-数据架构部Mail：[e-mail]新浪微博：@王彦明V微信：wangyanming29目录大数据京东大数据平台我们技术突破JDW&JmartJDMP数据挖掘平台展望大数据少说些漂亮话多做些日常平凡的事情京东大数据平台我们的技术突破•分布式系统技术突破–稳定性、性能、HA、故障恢复、多集群、运维和管理•多用户共用平台–数据安全、隐私保护•数据任务运行监控–每日数万个数据任务、核心任务及时性•挖掘数据价值–数据量大、迭代效率•数据实时化–关系型数据、ADHOC、实时计算•离线、实时平台合并–Hadoop、Spark、StormJDW发展历程SparkHadoopMySQLOracleMSSQLJDW架构-概述调度系统数据质量知识管理监控系统平台JmartJDW统一权限数据集成管理平台开发平台京东分析师JDWEDW的核心数据架构分为四层：缓冲数据层、基础数据层、通用数据层、聚合数据层其次是临时层和维度层。其示意图如下：JDWFDM存储方案优化在线交易系统、商品中心、用户中心等出于效率的考虑不会长期保存大量历史数据而JDW作为企业数据分析及挖掘的基础设施天生具有保存历史数据的职责非但如此如何快速、高效的获取历史上任意一天的快照数据也成为设计历史数据存放方式时的重要考量。通过比较记录数据的生命周期；能快速还原任意天的历史快照极大的节省了存储2014-01-012014-01-02快照的还原keyA1A2A3keyA1A2A3SELECT*FROMt_chain1AAAA1AAA