基于云的资源存储设计与应用.docx

基于云的资源存储设计与应用摘要：该文通过对云计算和云存储的概念的描述分析了云存储的体系结构较之传统文件管理体系的优势并针对档案管理的工作现状提出了基于Hadoop构建的云存储系统模型的设计。关键词：档案管理；云存储；Hadoop中图分类号：TP393文献标识码：A文章编号：1009-3044（2013）16-3659-021概述目前我国大中型企业的规模不断扩大与国际接轨程度不断提高随之而来的就是企业中的数据量日益增加工作人员需要处理的数据越来越多。以档案室为例原有的档案管理存储系统成本高平台扩展能力差数据的访问效率低已经不能满足日益增长的数据量的需求。而云计算技术的推广和使用可以为档案室提供一种更高性能、更低成本、的存储平台为档案中的大量数据的处理提供了新的技术支持。2云计算与云存储云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。他包括互联网上各种服务形式的应用和提供这些服务的软硬件设施互联网上的应用服务就是通常用户所说的SaaS数据中心的软硬件设施就是云。云计算一般分为广义和狭义两种定义。分别指IT通过网络以按照用户需求和易扩展的使用方式获得所需资源以及指通过网络以按照用户需求和易扩展的使用方式获得用户所需服务。这种服务可以是IT和软件、互联网相关也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。云计算是传统计算机和网络技术发展融合的产物其本质特征包括分布式计算和存储、较高的可扩展性、良好的可交互性。云存储（cloudstorage）是在云计算概念上延伸和衍生发展出来的一个新的概念。与云计算类似它是指通过分布式文件系统和计算机的集群技术运用等功能集合网络中不同类型的存储设备是他们配合工作对外提供数据存储和访问功能的系统云存储实际上就是一个以数据存储和管理为核心的云计算系统。云存储体系一般分为以下几个层次：数据存储层其作用是将不同类型的存储设备连接起来实现海量数据的统一存储。数据管理层数据管理层为上层提供不同服务间公共管理的统一视图。通过设计统一的用户管理、数据管理等功能模块实现多存储设备之间的协同工作。应用接口层应用接口层是云存储平台面向用户的部分包括数据存储服务、公共资源服务、数据备份服务等。数据访问层通过数据访问层使得用户都可以随时实地登录云存储平台系统。3云存储平台的选择Hadoop是一个分布式系统基础架构由Apache基金会开发得到了大规模的推广和运用。Hadoop用户可以在不了解分布式底层细节的情况下开发分布式程序。Hadoop的基础组件HDFS是根据Google的GFS设计思路开发的具有高容错性的特点非常适合部署在低廉的硬件上。使用HDFS可以提供高传输率（来访问应用程序的数据适合那些有着超大数据集的应用程序。与传统的分布式系统最大的不同点在于HDFS具有极高高容错性和较低的使用成本。HDFS是以流式数据访问模式存储海量数据的分布式文件系统。名称结点是中心服务器负责管理文件系统的命名空间它维护着文件系统树及整棵树内所有的文件和目录同时还记录着每个文件中各个数据块所在的数据节点信。数据结点是文件系统的工作节点负责管理数据块的检索与存储根据名称结点的调度进行块的创建、删除和复制等并定期向名称结点发送它所存储的块的列表。4基于云存储的档案资料管理系统的设计和功能分析该系统的功能主要包括以下三个方面：第一是数据的备份与恢复传统的备份和恢复系统在可靠性、可扩展性、容错性等方面都有较大缺陷不能满足现阶段档案馆档案资料的信息量快速增长的存储需求。档案馆的管理人员在使用传统模式进行数据的备份和恢复时会遇到各种各样的问题。例如对超大数据的进行备份的时候不仅很难找到相应规模的数据备份载体同时服务器在处理大规模数据时运行速度明显降低会影响到其他用户进程的使用。而利用云存储系统的高可扩展性和高处理性能的特点可以高效地存储和管理这些数据。在档案资料管理系统的实际应用中采用传统存储设备和云存储系统混合使用的方式可以充分降低使用成本使得两种存储系统协同发挥优势。现阶段档案室的通常做法是将常用的档案资料备份到传统存储中然后再将它们存入云存储系统这样的备份效果比其中任何一个系统的单独存放的效果更好。第二是数据共享在档案资料的管理过程中数据共享是其重要环节之一。在传统存储系统中数据共享的效率常常受到受硬件设备的制约。当大量用户同时访问共享数据时系统性能大大降低甚至出现数据不能下载或提示数据不存在的问题。利用云存储系统可以大大提供大量用户同时访问