⑨OpenStack高可用集群部署方案—CentOS8安装与配置Ceph集群.pdf

⑨OpenStack高可用集群部署方案—CentOS8安装与配置Ceph集群CentOS8安装与配置CephOctopus版1.Ceph介绍1.1为什么要用CephCeph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。目前也是OpenStack的主流后端存储，随着OpenStack在云计算领域的广泛使用，ceph也变得更加炙手可热。国内目前使用ceph搭建分布式存储系统较为成功的企业有x-sky,深圳元核云，上海UCloud等三家企业。分布式存储CephGFSHDFSSwiftLustre平台属性开源闭源开源开源开源系统架构去中心化架构中心化架构中心化架构去中心化中心化架构架构数据存储块、文件对象文件文件对象文件方式元数据节多个1个1个(主备)多个1个点数量数据冗余多副本/纠删多副本/纠多副本/纠多副本/纠无码删码删码删码数据一致强一致性最终一致性过程一致性弱一致性无性分块大小4MB64MB128MB视对象大1MB小适用场景频繁读写场景大文件连续大数据场景云的对象大型集群//IaaS读写存储超算1.2Ceph架构介绍Ceph使用RADOS提供对象存储，通过librados封装库提供多种存储方式的文件和对象转换。外层通过RGW（Object，有原生的API，而且也兼容Swift和S3的API，适合单客户端使用）、RBD（Block，支持精简配置、快照、克隆，适合多客户端有目录结构）、CephFS（File，Posix接口，支持快照，社会和更新变动少的数据，没有目录结构不能直接打开）将数据写入存储。•高性能a.摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高b.考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等c.能够支持上千个存储节点的规模，支持TB到PB级的数据•高可扩展性a.去中心化b.扩展灵活c.随着节点增加而线性增长•特性丰富a.支持三种存储接口：块存储、文件存储、对象存储b.支持自定义接口，支持多种语言驱动目前来说，ceph在开源社区还是比较热门的，但是更多的是应用于云计算的后端存储。官方推荐使用ceph的对象式存储，速度和效率都比较高，而cephfs官方并不推荐直接在生产中使用。以上介绍的只是ceph的沧海一粟，ceph远比上面介绍的要复杂，而且支持很多特性，比如使用纠删码就行寻址，所以大多数在生产环境中使用ceph的公司都会有专门的团队对ceph进行二次开发，ceph的运维难度也比较大。但是经过合理的优化之后，ceph的性能和稳定性都是值得期待的。1.3Ceph核心概念==RADOS==全称ReliableAutonomicDistributedObject，Store即可靠的、自动化的、分布式对象存储系统。RADOS是Ceph集群的精华，用户实现数据分配、Failover等集群操作。==Librados==Rados提供库，因为RADOS是协议很难直接访问，因此上层的RBD、RGW和CephFS都是通过librados访问的，目前提供PHP、Ruby、Java、Python、C和C++支持。==Crush==Crush算法是Ceph的两大创新之一，通过Crush算法的寻址操作，Ceph得以摒弃了传统的集中式存储元数据寻址方案。而Crush算法在一致性哈希基础上很好的考虑了容灾域的隔离，使得Ceph能够实现各类负载的副本放置规则，例如跨机房、机架感知等。同时，Crush算法有相当强大的扩展性，理论上可以支持数千个存储节点，这为Ceph在大规模云环境中的应用提供了先天的便利。==Pool==Pool是存储对象的逻辑分区，它规定了数据冗余的类型和对应的副本分布策略，默认存储3份副本；支持两种类型：副本（replicated）和纠删码（ErasureCode）；==PG==PG（placementgroup）是一个放置策略组，它是对象的集合，该集合里的所有对象都具有相同的放置策略，简单点说就是相同PG内的对象都会放到相同的硬盘上，PG是ceph的逻辑概念，服务端数据均衡和恢复的最小粒度就是PG，一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据和定位数据；==Object==简单来说块存储读写快，不利于共享，文件存储读写慢，利于共享。能否弄一个读写快，利于共享的出来呢。于是就有了对象存储。最底层的存储单元，包含元数据和原始数据。1.4Ceph核心组件OSD是负责物理存储的进程，一般配置成和磁盘一一对应，一块磁盘启动一个OSD进