云计算在电信数据与商业智能分析中的应用研究.pdf

专题：云计算与应用

专题：云计算与应用

云计算在电信数据与商业智能分析中的应用研究

龚德志，段勇
（中国电信股份有限公司上海研究院上海200122）

摘要本文通过对电信数据分析与商业智能分析系统的应用现状进行分析,结合云计算技术的优势及特
点,对云计算技术在电信数据分析与商业智能分析中的应用架构进行研究和分析，并对其应用模
式、技术难点及应用前景进行探讨。
关键词云计算；电信；数据分析；商业智能

来说虚拟资源具备与物理资源相同的使用功能，同时还可
1引言
以有不同的属性，如价格、容量、可调整性等。
云计算是一种新型的业务交付模式，同时也是新型的（2）自动化部署
IT基础设施管理方法。通过新型的业务交付模式，用户将云计算的一个核心思想是通过自动化的方式尽可能
通过网络充分利用优化的硬件、软件和网络资源，并以此地简化任务，使得用户可以通过自助服务方式快捷地获取
为基础提供创新的业务服务。新型的IT基础设施管理方所需的资源和能力。部署是基础设施管理中十分重要，也
法让IT部门可以把海量资源作为一个统一的大资源进行是需要花费很大工作量的一部分，包括操作系统、中间件
管理，支持IT部门在大量增加资源的同时无需显著增加和应用等不同层次的部署。自动化部署可提供简化流程，
相应的人员进行维护和管理。用户提出申请后由自动化部署平台根据调度和预约自动
完成相应的部署，因此用户只需花十几分钟，甚至几分钟
2云计算相关技术
就可以得到一个完整的环境，极大地提高了工作效率。
（1）虚拟化（3）应用规模扩展
虚拟化可以大幅度提高组织过程中资源和应用程序云计算提供了一个巨大的资源池，而应用的使用又有
的效率和可用性。虚拟化把物理资源和最终呈现给用户的不同的负载周期，根据负载对应用的资源进行动态伸缩可
资源进行了分离，实际上是一个替代过程，在具有统一良以显著提高资源的有效利用率，即高负载时动态扩展资
好架构设计的物理资源上创建出多个替代资源（即虚拟资源，低负载时释放多余的资源，这就是应用规模扩展技术
源），替代资源和物理资源具有相同的接口和功能，对用户所解决的问题。该技术以应用为基本单位，为不同的应用

30
电信科学2010年第6期

架构设定不同的集群类型，每一种集群类型都有特定的扩实际上提供数据的节点。
展方式，然后通过监控负载的动态变化，自动为应用集群（6）分布式计算
增加或者减少资源。基于云平台的最典型的分布式计算模式是MapReduce
（4）分布式文件系统编程模型。MapReduce将大型任务分成很多细粒度的子任
分布式存储的目标是利用云环境中多台服务器的存务，这些子任务分布式在多个计算节点上进行调度和计
储资源来满足单台服务器所不能满足的存储需求。其特征算，从而在云平台上获得对海量数据的处理能力。概念
是，存储资源能够被抽象表示和统一管理，并且能够保证“Map（映射）”和“Reduce（化简）”的主要思想都是从函数式
数据读写与操作的安全性、可靠性等各方面的要求。编程语言里借来的，还有从矢量编程语言里借来的特性。
云计算催生了一些优秀的分布式文件系统和云存储当前的软件实现是指定一个Map（映射）函数，用来把一组
服务。最典型的云平台分布式文件系统是Google的GFS键值对映射成一组新的键值对，指定并发的Reduce（化简）
(Googlefilesystem)和开源的Hadoop。这两种可伸缩的分布函数，用来保证所有映射的键值对中的每一个共享相同的
式文件系统利用容错和故障恢复机制，有效地克服了单键组。简单说来，一个映射函数就是对一些独立元素组成
节点故障导致的系统故障，实现了大规模海量级的文件概念列表的每一个元素进行指定的操作。事实上，每个元
存储。素都是被独立操作的，而原始列表没有被更改，因为这里
以Hadoop文件系统为例，Hadoop文件系统（HDFS）是创建了一个新的列表来保存新的答案。也就是说，Map操
一个运行在普通硬件之上的分布式文件系统，它和现有的作是可以高度并行的，这对高性能要求的应用以及并行计
分布式文件系统有着很多相似性。然而，与其他分布式文算领域的需求非常有用。Reduce操作指的是对一个列表的
件系统的区别也是很明显的：HDFS是高容错性的，可以部元素进行适当的合并。虽然它不如映射函数那么并行，但
署在低成本的硬件上，HDFS高吞吐量地对应用程序进行是因为化简总是有一个简单的答案，大规模的运算相对独
数据访问，它适合大数据集的应用程序，HDFS放开一些立，所以化简函数在高度并行环境下也很有用。
POSIX的需求去实现流式地访问文件数据。一个HDFS集
3应用分析
群由一个管理文件系统元数据的NameNode和存储实际
数据的一些DataNode组成。3.1问题和现状
（5）分布式数据库与非结构化数