云平台分布式存储池建立实施经验分享.docx

云平台分布式存储池建立实施经验分享【导读】在云平台广泛应用的今天，云平台IAAS基础资源中的存储资源池建设至关重要，建设者需要充分考虑建立高性能的集中式存储、灵活分布式存储兼备的多池模式，本文从性能、冗余性角度分析，介绍云平台分布式存储池建设中应该如何进行集群规划、服务器规划、硬盘规划、网络规划、角色规划、配置规划，保证云平台存储池能长期、稳定支撑企业的信息系统运行和发展。一、概述目前云平台已经得到了广泛应用，存储池作为云平台的IAAS主要构成部分，需要在云平台上线实施的时候就进行良好的规划，保持充分的稳定性、灵活性，保证后续的便捷使用和运维，以更好的支撑业务发展。金融业的云平台计算池中运行有裸机、虚拟机、容器多种运行态资源，为支撑数据库、应用服务器、容器以及文件存储等场景，在建立企业级云平台存储池时，通常需要规划采用多种不同特性的存储设备组建存储池，以便支撑不同场景的需求。二、分析应用场景，建立多个云平台存储池对存储进行规划建设时，离不开存储应用场景的分析，需要考虑的云存储是用来做应用系统的存储，还是归档、或者是备份云存储端、或者其他的应用，因为不同的应用是需要不同的解决方案。当确定了云的应用场景后，才可以继续根据需求制定应对方案。例如对于应用系统，如支撑业务交易的数据库，对容量要求相对不大，但要求满足较高的性能。例如对于多个系统间的文件交换，或者多个服务器节点需要共享维护同一个共享文件目录，共享文件服务器则要求有效的访问控制、同时具备较好的带宽。而用于备份的存储，则需要安全与可用性、归档则要求大容量而成本低廉的存储。确定了应用场景，也就确定了存储池的建设方向。金融业的核心、柜面等重要交易系统，因为业务并发量大，切业务敏感性高，必须保证相应系统的数据库、应用程序具备极高的稳定性和性能，为保证数据库以及此类响应时间要求较高的应用高效稳定运行，获得良好的iops和读写时延，则需要在企业云平台存储池中规划专用的通过集中式全闪存存储构建的存储资源池，此部分存储池通常采用高端集中式存储构成，高端集中式存储技术成熟，使用时间长，案例众多，服务体系完备，通常采用高性能存储机头管理高速的NVMESSD，能提供极高的IOPS响应速度。集中式存储通常采用高效FC协议提供服务，也有少量用户采用ISCSI等IPSAN方式提供服务。集中式存储因其产品设计理念，存在一定的弊端，例如在需要对存储设备进行扩容、迁移等操作时，单台存储的扩展能力相对有限，扩容灵活性差。集中式存储的使用经验已经较为成熟，在规划组网等时需要考虑的磁盘域规划、raid以及热备盘规划、物理端口冗余、多路径规划等规划重点均已经应用非常广泛，本文不再花费过多篇幅进行阐述。三、云平台分布式存储池规划建立除集中式存储池之外，云平台中目前多用于支撑一般虚拟机、容器以及保存海量文件的存储，仍是采用分布式存储。云存储解决方案通常采用分布式设计理念，可从成本、容量、空间可扩展性、服务可用性、数据可靠性、接口通用性等多个维度提升存储的质量。由于这些明显的优势，分布式云存储成为有效的支持块存储、对象存储、NAS存储等多种存储格式的存储类型，对象存储常用于保存视频图像信息库等数据存储与共享业务，成为云平台中便捷、统一管理和高效应用的云平台基础组件。云平台中分布式存储池的规划建设，需要考虑的因素通常包含容量、性能、安全性几个方面，相关的规划点则包括节点数量、磁盘配比、组网规划、集群的用户角色规划等。下面以一套CEPH分布式存储为例，阐述其规划实施路径。3.1分布式存储集群及节点硬盘规划实施分布式存储集群规划第一步需要基于企业当前数据量，合理分析本企业近3-5年的容量增长情况，并区分集中式存储和分布式存储的数据量。节点池是集群中以节点为单位组成的存储区域单元，不同节点池中包含若干台集群内主机，为用户提供不同的存储业务服务。可以同时支持块存储、文件存储、对象存储业务，每种业务分别位于不同的节点池。每个节点池的拥有自己的监控节点、存储节点，节点池间独立，使用某分节点池的存储资源，数据只能在该节点池内的主机上分布存储，不同节点池之间数据完全隔离互不影响节点池。需要全面考虑块存储、对象存储、文件存储池的需求，三类存储建议独立不同的存储池部署，单独规划不同配置的服务器作为数据节点。硬盘池是集群节点池中以硬盘为单位组成的的存储区域单元，不同硬盘池中包含节点池内若干台集群内主机中的若干硬盘，为用户提供不同的存储业务服务。通过硬盘池也可以满足不同存储业务数据间的隔离，以及用户使用不同性能的存储需求。每个数据节点的硬盘规划，关键要考虑SSD和机械硬盘的配比。在预算充足切对存储池性能要求较高时，也可以考虑全闪存配置的数据节点，构建全闪存分布式存储池。如果采用混闪进行配置，则通常是一个或者多个SSD磁盘作为缓存加速盘和元数据存储盘