ceph

DAS其实就是最基本的主板上面通过各种接口直接插上就能被主板所在的电脑查知的硬盘的这种硬盘连接方式，被操作系统看到的时候设备是“块存储设备”，需要进行磁盘分区，构建本地文件系统后，格式化要使用的分区才能使用，现在常见方式：ide也就是pata（较老家用pc常见）、scsi（较老服务器设备常见）、sata（现代主要家用pc接口）、sas（现代主要家用pc接口）等； nas和san都是通过网络，不管光纤还是铜缆还是任何一种其他网络连接方式挂载到本机电脑，以前还有人分光纤和铜缆现在来说实际上铜缆也有了10g的速度可以说只有网络延时上微小的区别本质上的速度已经没啥区别了，所以我认为今天可以认为不区别也罢，区别是： NAS挂载到本机后是直接可用的文件系统，文件级存储file-level storage，操作的最小单元就是每个文件，nas是nas包括服务端和客户端协议两部分，服务端有硬件设备实现和软件的网络文件系统以及分布式文件系统方式的实现，最典型的协议（通常有对应的服务器端实现）例子比如：网络文件系统有linux的nfs、windows的cifs和smb、苹果系列系统支持的afp，分布式文件系统并且开源免费、今天生产环境还常有人用于mount的有ceph和GlusterFS（要注意的是貌似不是所有的dfs都是nas的，好几种dfs并不提供直接操作系统挂载方式

[toc] Kubernetes之（十二）存储卷 简介 为了保证数据的持久性，必须保证数据在外部存储在docker容器中，为了实现数据的持久性存储，在宿主机和容器内做映射，可以保证在容器的生命周期结束，数据依旧可以实现持久性存储。但是在k8s中，由于pod分布在各个不同的节点之上，并不能实现不同节点之间持久性数据的共享，并且，在节点故障时，可能会导致数据的永久性丢失。为此，k8s就引入了外部存储卷的功能。 k8s的存储卷类型： [root@master ~]# kubectl explain pods.spec.volumes. emptyDir <Object> # 临时目录。pod删除数据也被删除,用于数据的临时存储。 hostPath <Object> #宿主机目录映射 和docker的一样 #以上两种都不能满足持久性存储 本地传统存储： - SAN(iSCSI,FC) - NAS(nfs,cifs,http) 分布式存储： - glusterfs - cephfs 云存储： - EBS,Azure Disk persistentVolumeClaim -->PVC(存储卷创建申请) 当你需要创建一个存储卷时，只需要进行申请对应的存储空间即可使用，这就是PVC。其关联关系如图： （图片来源： https://www.cnblogs.com/linuxk/）

注意 本文，只是笔者针对Kubernetes生产环境运行的一些关于架构设计和实现方案的总结，内容很粗糙，后续会不断完善。 首先，我们来梳理下Kubernetes生产架构，其设计适用于绝大多数环境，如下图所示 在该架构中，我们可以将其分为四层，如下： Client层：即Kubernetes集群外部用户、客户端等； 服务访问层：即由Traefik ingress实现服务发现、负载均衡和路由规则定义等； 业务应用层：即基于Kubernetes平台构建和运行企业业务应用，如CI/CD持续集成、微服务项目、监控告警和日志管理、私有镜像仓库等服务； 基础设施层：即由Kubernetes容器管理平台和Ceph/NFS数据持久化存储等系统组成的基础设施服务。 下面，我们分别来谈谈各层的具体实现方案。 基础设施层 Kubernetes平台 部署管理：Kubernetes平台除了直接使用公有云如阿里云、AWS等云服务提供商的K8s服务外，我们还可以自己部署和管理等，如使用Kubespray工具。 网络通信：在容器和容器之间、容器和主机网络方面，可以使用 Calico 或Flannel等方案。 HA高可用：Kubernetes节点分为Master和Node两种类型节点，前者负责运行集群相关的控制管理服务，而后者负责运行Pod容器。在多Node节点模式下，由于Kubernetes

　计划 openvpn linux client打通vpn sshtunnel 的 SSHTunnelForwarder 和 paramiko.SSHClient 打通跳板机 celery+redis做定时 cvs输出 server酱做微信告警 http://sc.ftqq.com influxdb做数据序列数据库 Grafana显示 导出xlx文件 ####　进展 　 来源： oschina 链接： https://my.oschina.net/u/2246154/blog/806066

Prometheus 监控 Ceph 集群 Prometheus Module — Ceph Documentation Prometheus 模块启用： [root@node1 ~]# ceph mgr module enable prometheus [root@node1 ~]# ceph mgr services { "dashboard": "https://node1:8443/", "prometheus": "http://node1:9283/" } [root@node1 ~]# netstat -tnlp | grep 9283 tcp6 0 0 :::9283 :::* LISTEN 1507703/ceph-mgr 默认情况下，模块将在主机上的所有 IPv4 和 IPv6 地址的端口上接受 HTTP 请求。 ceph config set mgr mgr/prometheus/server_addr 0.0.0.0 ceph config set mgr mgr/prometheus/server_port 9283 安装 prometheus 步骤请移步我之前的博客 掌握Prometheus 监控思科交换机技能，这篇文章就够了！-余生还长，何必慌张-51CTO博客 (一) Prometheus 监控思科交换机---各中间件安装部署 ceph 各节点部署

ceph 挂载的快设备 [root@node1 ~]# df -h /mnt/rbd/ 文件系统 容量 已用 可用 已用% 挂载点 /dev/rbd0 15G 241M 14G 2% /mnt/rbd 安装压测工具和查看磁盘 IO 性能工具 fio [root@node1 ~]# yum install fio sysstat -y 打开一个 shell 终端查看块设备 IO [root@node1 ~]# iostat -x 1 查看 rbd 延迟相应时间 [root@node1 ~]# ceph osd perf 4K 随机写 -IOPS [root@node1 ~]# fio -filename=/mnt/rbd/fio.img -direct=1 -iodepth 32 -thread -rw=randwrite -ioengine=libaio -bs=4k -size=200m -numjobs=8 -runtime=60 -group_reporting -name=mytest mytest: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=32 ... fio-3.7 Starting 8 threads

Ceph Dashboard — Ceph Documentation 安装dashboard [root@node1 ~]# yum install ceph-mgr-dashboard -y 在正在运行的 Ceph 群集中，Ceph Dashboard 启用： [root@node1 ~]# ceph mgr module enable dashboard --force SSL/TLS 支持 默认情况下，与仪表板的所有 HTTP 连接都使用 SSL/TLS 进行保护。 若要快速启动和运行 dashboard ，可以使用以下内置命令生成和安装自签名证书： [root@node1 ~]# ceph dashboard create-self-signed-cert 注意 大多数 Web 浏览器会提示此类自签名证书，并且需要在建立与仪表板的安全连接之前进行显式确认。 若要正确保护部署并删除证书警告，应使用由证书颁发机构 （CA） 颁发的证书。 主机名和端口 与大多数 Web 应用程序一样，仪表板绑定到 TCP/IP 地址和 TCP 端口。 默认情况下，仪表板的守护进程（即当前活动管理器）将在禁用 SSL 时绑定到 TCP 端口 8443 或 8080。 ceph-mgr 如果未配置特定地址，Web 应用将绑定到 ，该绑定对应于所有可用的 IPv4 和 IPv6 地址。 ::

Filestore类型OSD的换盘操作： 1、umount坏盘目录 umount /var/lib/ceph/osd/ceph-176 2、通过MegaCli创建Riad0硬盘 MegaCli64 -CfgLdAdd -r0 [32:3] WT RA Direct -a0 3、对磁盘分区 parted /dev/sdj "mklabel gpt" parted /dev/sdj "mkpart primary 1 -1" 4、格式化硬盘并挂载到OSD目录 mkfs.xfs -m uuid=“$(ceph osd dump |grep osd.176 |awk ‘{print $NF}')” /dev/sdj1 mount /dev/sdj1 /var/lib/ceph/osd/ceph-176 5、恢复fsid和journal cd /var/lib/ceph/osd/ceph-176 echo “$(blkid -o export /dev/sdj1 |grep -i ^uuid |awk -F= ‘{print $2}’)” > fsid ln -sf /dev/disk/ceph/by-uuid/[journal_id] journal 6、初始化OSD数据目录 dd if=/dev/zero of=/dev/sdo3 bs=100M count=1 ceph-osd -i

rbd 回收站机制 # 查看rbd [root@node1 my-cluster]# rbd -p pool_demo ls demo.img [root@node1 my-cluster]# rbd info pool_demo/demo.img rbd image 'demo.img': size 5 GiB in 1280 objects order 22 (4 MiB objects) snapshot_count: 0 id: 86a0336b0860 block_name_prefix: rbd_data.86a0336b0860 format: 2 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten op_features: flags: create_timestamp: Wed Dec 23 15:36:46 2020 access_timestamp: Wed Dec 23 15:36:46 2020 modify_timestamp: Wed Dec 23 15:36:46 2020 # demo.img转移到回收站 [root@node1 my-cluster]# rbd trash move pool_demo/demo.img [root@node1 my