rbd

创建对应的pool： ceph osd pool create volumes 512 ceph osd pool create images 512 ceph osd pool create vms 512 安装各个节点需要的组件： 在Controller节点安装ceph管理接口: sudo apt-get install python-ceph libvirt-bin 在Glance节点安装python-rbd： sudo apt-get install python-rbd 在Cinder-volume节点和Nova-compute节点安装ceph-common： sudo apt-get install ceph-common 复制Ceph配置文件到各个节点 Glance节点、Cinder-volume节点和Nova-compute节点： ssh (your-openstack-server-node) sudo tee /etc/ceph/ceph.conf </etc/ceph/ceph.conf 创建CephX认证授权用户: ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool

什么是分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连 分布式文件系统的设计基于客户机/服务器模式 常用的分布式文件系统： Lustre 、 Hadoop 、 FastDFS 、 Ceph 、 GlusterFS 什么是Ceph Ceph是一个分布式文件系统 具有高扩展、高可用、高性能的特点 Ceph可以提供对象存储、块存储、文件系统存储 Ceph可以提供EB级别的存储空间（EB->PB->TB->GB） 软件定义存储(Software Defined Storage)作为存储行业的一大发展趋势，已经越来越受到市场的认可 Ceph组件 OSDs:存储设备 Monitors:集群监控组件 RBD：对象存储网关 MDSs:存放文件系统的元数据（对象存储和块存储不需要该组件） Client:ceph客户端 准备四台虚拟机，其三台作为存储集群节点，一台安装为客户端，实现如下功能： 创建1台客户端虚拟机 创建3台存储集群虚拟机 配置主机名、IP地址、YUM源 修改所有主机的主机名 配置无密码SSH连接 配置NTP时间同步 创建虚拟机磁盘 拓扑结构如图。 一：安装前准备 （1）物理机为所有节点配置yum源服务器。 [root@room9pc01 ~]# yum -y

创建ceph存储池 root@ceph1:~# ceph osd pool create volumes 512 root@ceph1:~# ceph osd pool create vms 512 分发ceph配置文件到其他节点，不包括网络节点 root@ceph1:~# ssh controller sudo tee /etc/ceph/ceph.conf < /etc/ceph/ceph.conf root@ceph1:~# ssh compute1 sudo tee /etc/ceph/ceph.conf < /etc/ceph/ceph.conf 在controller和compute节点安装ceph客户端 root@controller:~# apt-get install python-ceph ceph-common libvirt-bin -y root@compute1:~# apt-get install ceph-common -y 对cinder访问ceph volume作授权 root@ceph1:~# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes,

iSCSI网关集成了Ceph存储和iSCSI标准，以提供一个高可用性(HA) iSCSI目标，该目标将RADOS块设备(RBD)映像导出为SCSI磁盘。iSCSI协议允许客户机 (initiator) 通过TCP/IP网络向SCSI存储设备( targets )发送SCSI命令。这允许异构客户机访问Ceph存储集群。 每个iSCSI网关运行Linux IO目标内核子系统(LIO)，以提供iSCSI协议支持。LIO利用用户空间通过( TCMU ) 与Ceph的librbd库交互，并向iSCSI客户机暴露RBD镜像。使用Ceph的iSCSI网关，可以有效地运行一个完全集成的块存储基础设施，它具有传统存储区域网络(SAN)的所有特性和优点。 RBD 作为 VMware ESXI datastore 是否支持？ （1）目前来说，RBD是不支持datastore形式。 （2）iSCSI 是支持 datastore 这种方式，可以作为VMware Esxi 虚拟机提供存储功能，性价比非常不错的选择。 1、创建池和镜像 （1）创建池 # ceph osd pool create iscsi-images 128 128 replicated # ceph osd pool application enable iscsi-images rbd （2）创建images # rbd --pool

RBD存储卷 目前 CaaSP4 支持多种 Volume 类型，这里选择 Ceph RBD（Rados Block Device)，主要有如下好处： Ceph 经过多年开发，已经非常熟，社区也很活跃； Ceph 同时支持对象存储，块存储和文件系统接口； 环境准备条件 1、搭建环境 操作系统版本： SLES15 SP1， 无需安装 swap 内核版本：4.12.14-197.18-default Kubernetes 版本：CaaSP 4 , v1.15.2 Ceph ：Storage 6 VMware Workstation 14 2、虚拟化环境搭建和系统安装参考： SUSE Storage6 环境搭建详细步骤 - Win10 + VMware WorkStation SUSE Linux Enterprise 15 SP1 系统安装 SUSE Ceph 快速部署 - Storage6 SUSE CaaS Platform 4 - 安装部署 3、实验目的 配置 Pod 资源使用 RBD 存储卷 图1 环境架构 1、所有节点安装 # zypper -n in ceph-common 复制 ceph.conf 到 worker 节点上 # scp admin:/etc/ceph/ceph.conf /etc/ceph/ 2、创建池 caasp4 # ceph osd pool

https://cloud.tencent.com/developer/article/1173069 记录一下一些ceph优化的设置，部分内容来自网络，有些请根据自己需求相应修改 1、 Kernel pid max echo 4194303 > /proc/sys/kernel/pid_max 2、 设置MTU，交换机端需要支持该功能，系统网卡设置才有效果 配置文件追加MTU=9000 3、 read_ahead, 通过数据预读并且记载到随机访问内存方式提高磁盘读操作 echo “8192” > /sys/block/sda/queue/read_ahead_kb 4、 swappiness, 主要控制系统对swap的使用 echo “vm.swappiness = 0″/etc/sysctl.conf ; sysctl –p 5、 I/O Scheduler，SSD要用noop，SATA/SAS使用deadline echo “deadline” >/sys/block/sd[x]/queue/scheduler echo “noop” >/sys/block/sd[x]/queue/scheduler 6、 ceph.conf配置选项 [global]#全局设置 fsid = xxxxxxxxxxxxxxx #集群标识ID mon host = 10.0.1.1,10.0.1

Ceph 存储集群可以从RBD的快照中创建写时复制 (COW 副本），这就是 Ceph 的快照分层。 Ceph 的这个分层特性允许客户端创建 Ceph RBD 的多个即时副本， 这个特性对云平台和虚拟化平台非常有 ，例如 OpenStack 、CloudStack 和Qemu/ KVM 这些平台通常'以快照的形式保护含有 OS/VM 镜像的Ceph RBD 镜像 ，然后通过不断复制这个快照来创建新的虚拟机 /实例 ，快照是只读的，但是 COW 副本则是完全可写的; Ceph 的这个特性为云平台带来巨大的灵活性，并且对于云平台非常有用，下图显示了 RADOS 块设备、 RBD 快照和COW 快照副本之间的关系。 每一个复制的镜像(子镜像)都包含它的父快照的引用，用于读取镜像数据。 因此，父快照在用于复 制之前应该处于被保护状态。当有数据写入COW 复制的镜像时，它会为自己存储新的数据引用。 COW 复制的镜像与 RBD是一 样的。 它们都非常灵活，类似于 RBD ，也就是说，它们可写， 可调整容量，可以创建新的快照，将来还可以复制。 RBD 镜像的类型定义了它所支持的特性，在Ceph 中，有两种 类型的RBD 镜像:format-l和 form t-2， format-l和 format-2 类型的 RBD 镜像 都支持快 照特性。然而，分层特性( 也就是 COW 特性)只有

Ceph 完全支持快照，它是一个基于时间点的、只读的 RBD 镜像副本。 可以通过创建快 照并恢复其原始数据，保存 Ceph RBD 镜像的状态。 快照操作: （0）客户端已经map了remote_rbd1 的rbd [root@zabbix71 alertscripts]# rbd showmapped id pool namespace image snap device 0 rbd remote_rbd1 - /dev/rbd0 （1）rbd已经mount在mnt目录 [root@zabbix71 alertscripts]# df -h Filesystem Size Used Avail Use% Mounted on /dev/rbd0 150G 9.8G 141G 7% /mnt （2）在/mnt下创建2个测试文件 [root@zabbix71 mnt]# ls ceph-file test test1 （3）服务器端做快照 语法： rbd snap create<pool-name>/<image-name> @<snap-name [root@node140 ~]# rbd snap create rbd/remote_rbd1@snap1 [root@node140 ~]# rbd snap ls rbd/remote_rbd1 SNAPID NAME SIZE

############在线调整ceph RBD 大小########## Ceph 支持自动精简配置的块设备，也就是说 只有当把数据存储到这个块设备时，才 会真正地使用物理存储空间，ceph RADOS 设备非常灵活，你可以自由地增加或者减少RBD的容量 当然，这需要底层的文件系统也支持调整容量。高级文件系统(例如 XFS ，Btrfs，EX ZFS）都支持在指定条件下调整文件系统容量。 #（1）客户端中查看remote_rbd71容量 [root@zabbix71 /]# rbd --image remote_rbd71 info rbd image 'remote_rbd71': size 100 GiB in 25600 objects order 22 (4 MiB objects) snapshot_count: 0 id: 148fdf5968ea2 block_name_prefix: rbd_data.148fdf5968ea2 format: 2 features: layering, exclusive-lock op_features: flags: create_timestamp: Mon Aug 26 15:23:16 2019 access_timestamp: Mon Aug 26 15:23:16 2019 modify_timestamp:

#创建rdb池子 [root@node140 osd]# ceph osd pool create rbd 128 #查看已经创建的pools池 [root@node140 osd]# ceph osd lspools 1 rdb #初始化pool [root@node140 osd]# rbd pool init rbd #ceph集群中创建remote_rbd71镜像 [root@node140 osd]# rbd create remote_data1 --size 100G --image-feature layering [root@node140 osd]# rbd create remote_rbd71 --size 100G --image-feature layering #查看rbd [root@node140 /]# rbd ls -l NAME SIZE PARENT FMT PROT LOCK rbd_data1 10 GiB 2 remote_rbd71 100 GiB 2 excl #查看镜像详细信息 [root@node140 /]# rbd --image rbd_data1 info #############ceph集群本地使用RBD############## #映射到本地，就可以翔本地硬盘一样使用了 [root@node140 osd]#