FusionStor 软件定义存储 - 20131009.pdf

TopicName:FusionStor技术特点和解决方案Speaker:郭晧Title:解决方案架构师Fusionstor分布式存储系统简介分布式存储：存储位置虚拟化，统一存储空间传统RAID阵列分布式存储位置固定位置透明分布式存储优势n内在特性：①MPP架构②数据高可用性（网络RAID或者多副本）③更高的IOPS：多节点并发IO④按需扩容（横向扩展IO架构），节省成本n引申：①软件定义存储：硬件可使用通用x86服务器，不需要特定的控制器阵列②支持计算和存储一体化：存储节点上同时提供计算服务FusionStor分布式存储系统概述虚拟机虚拟机虚拟机虚拟机x86x86x86x86物理主机物理主机物理主机物理主机CloudIPSGANroupIP192.168.1.100存储系统采用细粒度的数据分布，自动在节点间均衡负载FusionStor分布式存储之系统IO路径VM1VM2VM3VM41VM1发起写数据块A的请求，传递到节点A4VM4发起读数据块A的请求3节点A确认两个副本都写完后返回写完成信号节点C向VM4返回读结果业务外网65节点C向节点A请求数据块Alichlichlich2节点A进行本地写，同时提交节点B写另一副本StorageStorageStorageAA’节点A节点B节点C•Lich是存储节点上的存储管理软件•每次IO定向到的节点由存储多路径软件选定，由该节点负责本次IO存储系统与IO请求方的网络通信。每次IO选定的节点都可能不同，以保证负载均衡•新写一个数据块时，存储集群按照轮询原则从LUN所在的节点中选择一个承载本次IO的节点。•读的情况：如果IO定向到的节点没有要读的数据块，则由该节点向数据块主副本所在的节点读取，再返回给应用服务器。•IO的瓶颈一般在存储而不是网络，上述设计将存储IO分散在不同的存储节点，充分利用网络的带宽FusionStor分布式存储之高可用性设计Componen传统阵列MDS分布式存储t磁盘多对一重构，重构时间长多对多数据重构，极大sparedrive（重构期间无保护）的缩短重构时间sparechunklets-----RAID1Group-笼内RAID跨节点多副本磁盘笼子--数据丢失概容忍节点故障(chassis)率大---RAID1Group---R1aidletR1aidletShelf(chassis)----------Shelf(chassis)要保证一致性SSD镜像控制器性能低极高性能(write-thrumode)(nowrite-thrumode)**FusionStor分布式存储产品：通用X86为节点单元典型配置构成FusionStor™存储软件+IBMSystemX服务器处理器/内存1路IntelXEON6核处理器/1x8GBDDR3ECC1333主机接口2xIntel8259910Gigabit以太网卡SSD缓存2块800GBSSD（按硬盘容量10：1配置）硬盘10x1TB/2TBSATA(SAS)磁盘驱动器电源600W冗余双电源FusionStor分布式存储部署方案VMVMVMVMVMVMVMVMVMVMVMVM业务外网存储内网存储节点存储节点存储节点存储节点存储集群FusionStor方案的特色与价值ü高性能•跨节点的LUN，使得IO能利用每个节点的性能；•SSD缓存大幅改善读写性能；•多节点参与重构，重构时间从10小时/TB-》20min/TB；•独立的后端网络，使得存储系统节点间通信不影响业务网络ü数据安全性•多副本•副本可按节点、按rack、按数据中心分布•高效的快照•无需设定热备盘，数据丢失后随时重构ü横向扩展与按需扩容ü整合客户现有存储ü管理简单•无中心架构；•硬件监控（节点、硬盘）•强大的自愈能力，故障时无需人工干预•硬件无关性，节点故障时可采用通用X86服务器进行替换Fusionstor分布式存储系统特性介绍特性一：宽条带化与跨集群LUN分布•整个存储空间被分成许多大小一致的块（大小可设置，8－64M，称为chunk），每个LUN的chunk均匀分布到集群中所有磁盘驱动器上•数据采用伪随机算法均衡分布在整个LUN上以提高IO性能（利用全部节点的性能）LUN1LUN2LUN3存储节点1存储节点2存储节点3特性二：数据自动平衡分布•每个LUN单独设置数据副本数量•不同的副本存放在不同的节点以保证数据安全•当节点加入、删除或者故障时，数据将重新分布，均衡仍然得以保持。磁盘故障与更换也是如此DataModule1DataModule2Node1Node2DataModule3Node3特性二、数据自动平衡分布•每个数据块都有多个副本，不能的副本存放在不同的节点以保证数据安全•当新节点加入时均衡仍然得以保持•当节点移除时均衡仍然得以保持•当节点故障时均衡仍