云计算标准体系架构与关键技术一.doc

云计算:体系架构和关键技术（一）本文系统地分析和总结云计算研究现实状况，划分云计算体系架构为关键服务、服务管理、用户访问接口等3个层次。围绕低成本、高可靠、高可用、规模可伸缩等研究目标，深入全方面地介绍了云计算关键技术及最新研究进展。在云计算基础设施方面，介绍了云计算数据中心设计和管理及资源虚拟化技术:在大规模数据处理方面，分析了海量数据处理平台及其资源管理和调度技术;在云计算服务保障方面，讨论了服务质量确保和安全和隐私保护技术。针对新型云计算应用和云计算存在不足，又探讨并展望了以后研究方向。最终，介绍了东南大学云计算平台和云计算研究和应用方面相关结果。1引言多年来，社交网络、电子商务、数字城市、在线视频等新一代大规模互联网应用发展迅猛。这些新兴应用含有数据存放量大、业务增加速度快等特点。据统计至，社交网站Facebook己存放了15TB数据，而且天天新增60TB数据；电子商务网站淘宝B2C业务在增加了4倍，其数据中心存放了14PB数据，而且天天需要处理SOOTB数据。和此同时，传统企业软硬件维护成本高昂；在企业IT投入中，仅有20%投入用于软硬件更新和商业价值提升，而80%则投入用于系统维护。依据IDC对200家企业统计，部分企业信息技术人力成本达成1320美元/每人/每台服务器，而布署一个新应用系统需要花费5.4周。为了处理上述问题，谷歌、Amazon等企业提出了“云计算”构想。依据美国国家标准和技术研究院(NIST)定义，云计算是一个利用互联网实现随时随地、按需、便捷地访问共享资源池(如计算设施、存放设备、应用程序等)计算模式。计算机资源服务化是云计算关键表现形式，它为用户屏蔽了数据中心管理、大规模数据处理、应用程序布署等问题。经过云计算，用户能够依据其业务负载快速申请或释放资源，并以按需支付方法对所使用资源付费，在提升服务质量同时降低运维成本。作为信息产业一大创新，云计算模式一经提出便得到工业界、学术界广泛关注。其中Amazon等企业云计算平台提供可快速布署虚拟服务器，实现了基础设施按需分配。MapReduce等新型并行编程框架简化了海量数据处理模型。谷歌企业AppEngine云计算开发平台为应用服务提供商开发和布署云计算服务提供接口。Salesforce企业用户关系管理(CRM,customerrelationshipmanagement)服务等云计算服务将桌面应用程序迁移到互联网，实现应用程序泛在访问。同时，各国学者对云计算也展开了大量研究工作。早在，斯坦福大学等多所美国高校便开始和谷歌,IBM合作，研究云计算关键技术。多年来，伴随云计算研究深入，众多国际会议(如SIGCOMM、OSDI,SIGMOD,CCS等)上陆续发表了云计算相关研究结果.另外，以Eucalyptus为代表开源云计算平台出现，加速了云计算服务研究和普及。不仅如此，各国政府纷纷将云计算列为国家战略，投入了相当大财力和物力用于云计算布署。其中，美国政府利用云计算技术建立联邦政府网站，以降低政府信息化运行成本。英国政府建立国家级云计算平台(G-Cloud)，超出2/3英国企业开始使用云计算服务。在中国，北京、上海、深圳、杭州、无锡等城市开展了云计算服务创新发展试点示范工作;电信、石油石化、交通运输等行业也开启了对应云计算发展计划，以促进产业信息化。然而，云计算本质上并非一个全新概念。早在1961年，计算机先驱JohnMcCarthy就预言:“未来计算资源能像公共设施(如水、电)一样被使用。”为了实现这个目标，在以后几十年里，学术界和工业界陆续提出了集群计算、效用计算、网格计算、服务计算等技术，而云计算正是从这些技术发展而来。在这些传统技术中，集群计算将大量独立计算机经过高速局域网相连，从而提供高性能计算能力。效用计算为用户提供按需租用计算机资源路径。网格计算整合大量异构计算机闲置资源(如计算资源和磁盘存放等)，组成虚拟组织，以处理大规模计算问题。服务计算作为连接信息技术和商业服务桥梁，研究怎样用信息技术对商业服务建模、操作和管理。对云计算而言，其借鉴了传统分布式计算思想。通常情况下，云计算采取计算机集群组成数据中心，并以服务形式交付给用户，使得用户能够像使用水、电一样按需购置云计算资源。从这个角度看，云计算和网格计算目标很相同。不过云计算和网格计算等传统分布式计算也有着较显著区分:首先云计算是弹性，即云计算能依据工作负载大小动态分配资源，而布署于云计算平台上应用需要适应资源改变，并能依据改变做出响应；其次，相对于强调异构资源共享网格计算，云计算更强调大规模资源池分享，经过分享提升资源复用率，并利用规模经济降低运行成本:最终，云计算需要考虑经济成本，所以硬件设备、软件平台设计不再一味追求高性能，而要综合考虑成本、可用性、可靠性等原因。基于上述比较并结合