虚拟化存储系统.docx

虚拟化存储系统华中科技大学集群与网格计算湖北省重点实验室信息存储系统教育部重点实验室2003年12月1.课题研究背景当今社会信息正以超乎人们想象的速度增长这对信息存储系统的容量和速度提出了空前的要求由此引发的各种问题也随之而来。人们对信息数据日益广泛的需求导致存储系统的规模变得越来越庞大管理越来越复杂信息资源的爆炸性增长和管理能力的相对不足之间的矛盾日益尖锐。同时这种信息资源的高速增长也对存储系统的可靠性和扩展性提出了挑战信息资源的共享也显得越来越重要。在广域网中存在大量相互独立的数据孤岛它们之间的数据资源不能共享存储空间不能得到有效使用数据的传输性能不足。存储虚拟化是指将用户看到的存储资源同具体的物理存储设备分隔开来为存储用户提供统一的虚拟存储池。它是具体存储设备或存储系统的抽象展示给用户一个逻辑视图同时将应用程序和用户所需要的数据存储操作和具体的存储控制分离。存储虚拟化的任务首先是在多个物理存储设备或存储系统上创建一个抽象层屏蔽复杂性简化管理；其次是对存储资源进行优化。本课题研究了广域网范围和存储局域网（SAN）内部的存储虚拟化技术以及支撑这种技术的文件系统。据统计在企业网、局域网内部采用分布式存储技术的企业其存储服务器、磁盘阵列甚至PC的存储空间利用率一般只达到50%很多设备甚至还达不到用户投资被大量浪费。由于文件服务器系统缺乏对并行I/O的支持在大量用户访问或遭到恶意访问攻击时系统将很快达到饱和而无法完成服务。通过存储虚拟化技术不仅可以简化异构存储管理的复杂性更可以高效充分地利用存储空间。通过在互连网络环境中引入分布式RAID功能能够实现数据有效备份和容灾提高信息的安全可靠性。通过将三级存储设备虚拟为二级存储可以为用户提供快速海量存储。局域网的网络存储技术基本上可以分NAS和SAN两大类而NAS和SAN又各有其优缺点。因此提供一种技术将NAS和SAN统一整合起来是一个很有意义的研究课题。在由高速串行SCSI接口构建的SAN中如果没有SAN管理软件的管理和调度只要存在两台主机就必然存在共享冲突的问题存储设备就无法正常工作光纤通道的优点就无法体现出来。相反如果SAN管理软件管理调度得当FC所具有的优势就能被充分发挥出来在此基础上还可在系统中增添如并行存储、负载平衡和数据迁移等功能将使系统具有非常高的性能全方位解决在信息高速公路中服务器存储系统的瓶颈问题。SAN的管理问题已成为当前学术界和产业界最为重要的一个热点。但是目前处于领先地位的Veritas、IBM和HP等国外著名公司的SAN管理软件产品多采用静态/动态配置的分布式管理策略即把存储网络中的存储设备集合成为磁盘池(diskpool)并划分为卷(Volume)空间后把各卷配置给SAN中的各台主机卷只能被其拥有主机进行读写操作不同主机之间不能直接共享同一卷中的数据而只能通过传统文件服务器的C-S模式共享卷中的数据。采用配置文件进行分布式管理的SAN系统实现了存储设备和存储空间的共享但还不具备文件共享和元数据共享的能力。随着客户对数据的依赖性迅猛增长数据存储的可靠性和可用性正日益成为企业信息化进程中的一个关键环节。而文件系统作为连接底层物理磁盘与上层应用层之间的纽带在信息存储中起着至关重要的作用如何为文件系统提供故障恢复功能以及如何提高文件系统的可用性成了目前亟待解决的关键问题。在863项目“存储虚拟化及其文件系统研究”的资助下我们对存储虚拟化及其相关技术进行了深入研究。经过两年的探索、研究和开发本项目组成功研制了虚拟化存储系统。2.系统总体结构虚拟化存储系统可以将分布在互联网上的各种存储资源整合成具有统一逻辑视图的高性能存储系统因此又成为GDSS（GlobalDistributedStorageSystem）系统。整个系统主要包括存储服务点SSP(StorageServicePoint)、全局命名服务器GNS(GlobalNameServer)、资源管理器RM(ResourceManager)、认证中心CA(CertificateAuthority)、客户端、存储代理SA(StorageAgent)以及可视化管理如图1所示。SSP是整个系统的入口对系统所有模块的访问都通过SSP它主要提供FTP接口、CA接口、RM接口和GNS接口；系统中SSP的个数可以根据需要动态增加；SSP接管了传统方案中GNS的部分功能减轻了GNS的负载提高了系统的可扩展性。GNS负责系统的元数据管理主要包括元数据操作接口、元数据容错系统、元数据搜索系统。RM包括资源调度模块和副本管理模块其主要负责资源的申请和调度同时提供透明的副本创建和选择策略。副本技术减少了文件数据访问延迟和带宽消耗有助于改善负载平衡和可靠性。尤其是动态的副本创建机制即自动的选择存储点以创建副本并