ceph

数据一致性检查 Architecture — Ceph Documentation [root@node1 my-cluster]# ceph pg dump PG OBJECTS DEGRADED MISPLACED UNFOUND BYTES OMAP_BYTES* OMAP_KEYS* LOG STATE SINCE VERSION REPORTED UP ACTING SCRUB_STAMP DEEP_SCRUB_STAMP 1.0 1 0 0 0 147456 0 0 65 active+clean 108m 21'65 98:198 [1,5,3]p1 [1,5,3]p1 2020-12-21 08:36:19.586850 2020-12-18 11:09:36.484516 1.1 0 0 0 0 0 0 0 40 active+clean 108m 21'40 98:44 [5,0,1]p5 [5,0,1]p5 2020-12-21 08:34:48.520073 2020-12-18 11:09:36.484516 ····· # scrub 检查比对 PG 的 metadata [root@node1 my-cluster]# ceph pg scrub 6.f instructing pg 6.f on osd.3 to scrub # deep-scrub

Ceph 日志分析 # node1 日志信息 [root@node1 ~]# ll /var/log/ceph/ 总用量 6264 -rw------- 1 ceph ceph 0 12月 22 11:13 ceph.audit.log -rw------- 1 ceph ceph 4532 12月 21 08:34 ceph.audit.log-20201221.gz -rw------- 1 ceph ceph 2871 12月 22 10:01 ceph.audit.log-20201222.gz -rw-r--r-- 1 root ceph 743 12月 22 11:13 ceph-client.admin.log -rw-r--r-- 1 ceph ceph 430 12月 22 11:13 ceph-client.rgw.node1.log -rw-r--r-- 1 ceph ceph 1216 12月 22 10:01 ceph-client.rgw.node1.log-20201222.gz -rw------- 1 ceph ceph 829842 12月 22 14:00 ceph.log -rw------- 1 ceph ceph 455217 12月 21 09:46 ceph.log-20201221.gz -rw------- 1 ceph ceph

Ceph坏盘 [Adding/Removing OSDs — Ceph Documentation]( https://docs.ceph.com/en/nautilus/rados/operations/add-or-rm-osds/?highlight=removing osd#removing-the-osd) [root@node1 my-cluster]# ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 0.14635 root default -3 0.04878 host node1 0 hdd 0.01949 osd.0 up 1.00000 1.00000 3 hdd 0.02930 osd.3 up 1.00000 1.00000 -5 0.04878 host node2 1 hdd 0.01949 osd.1 up 1.00000 1.00000 4 hdd 0.02930 osd.4 up 1.00000 1.00000 -7 0.04878 host node3 2 hdd 0.01949 osd.2 up 1.00000 1.00000 5 hdd 0.02930 osd.5 up 1.00000 1.00000 # 查看 OSD 延迟状况，以防坏道情况拖垮 ceph

经过了紧锣密鼓的前期准备工作，备受期待的 开源软件供应链点亮计划-暑期2020 活动终于正式启动啦！ Summer is coming，各位同学： 你是否想要抓住时机充实自己？却缺少实践或良师指导、伙伴同行。 你是否打算寻找实习锻炼自己？却囿于烈日、奔波与疫情。 你是否想要接触顶级技术大咖？却苦于缺少机会和平台。 你是否想要在工作中初试身手，又担心学业与实习不能兼顾。 高认可度的活动经历、 优先的工作与实习机会、 丰硕的活动奖金，心动了吗？ 在这里，你想要的都能实现！ 如何加入 5/15 开始选择项目，与社区导师沟通 5/16 第一期“大咖说开源”讲座直播，交流开源知识 6/1-6/20 学生提交项目申请 7/1-9/30 在社区导师指导下完成项目开发工作 活动简介 本次活动是由 中科院软件所 与 openEuler 社区 共同举办、 中科院软件研究所南京软件技术研究院 承办的一项面向高校学生的暑期活动，为高校学生提供了绝佳的、友好开放的交流平台。使学生可以真正投身于开源软件的开发维护，得到资深开源软件开发者指导的机会，获得丰硕的活动奖金，并帮助学生获取优秀企业的关注。 活动奖金 本次活动的项目奖金根据项目难度分为 12000 元、 9000 元、 6000 元。 注：奖金均为 税前 金额 活动亮点 本次活动是受Google Summer of Code（GSoC）启发

点击上方蓝色字关注 [ 啃饼思录 ]~ Docker数据管理 写在前面 在前面我们详细学习了docker的三大核心概念：镜像、容器和仓库，接下来开始学习如何管理数据。在实际工作中使用docker，往往需要对数据进行持久化，或者需要在多个容器之间进行数据共享，此时必然会使用到容器数据管理的各种操作。 容器中的数据管理主要有两种方式：（1）数据卷（Data Volumes），表示容器内数据直接映射到本地主机环境；（2）数据卷容器（Data Volume Containers），表示使用特定容器维护数据卷。 本篇就来学习docker数据管理相关的知识，首先会介绍如何在容器内创建数据卷，并且把本地目录或者文件挂载到容器内的数据卷中，接着介绍如何使用数据卷容器在容器和宿主机、容器和容器之间共享数据，并实现数据的备份和恢复。 数据卷 数据卷(Data Volumes)是一个可供容器使用的特殊目录，它将宿主机操作系统目录直接映射进容器，有点类似于Linux操作系统中的mount行为。 数据卷特性 数据卷提供很多特性，包括且不限于以下几点：（1）数据卷可以在容器之间共享和重用，容器间传递数据将变得高效与方便；（2）无论是容器内操作还是本地操作，用户对数据卷内数据的修改会立马生效；（3）用户对数据卷的更新不会影响到镜像，可以解耦应用和数据；（4）数据卷会一直存在，直到没有容器使用

Container中的文件在磁盘上是临时存放的，这给 Container中运行的较重要的应用程序带来一些问题： 1，当容器崩溃时文件丢失。kubelet 会重新启动容器。 2，同一 Pod 中运行多个容器的情况下有共享文件需求。 Kubernetes 卷（Volume） 这一抽象概念能够解决这两个问题。本文主要介绍k8s主流的集中卷，本文测试数据来自源Kubernetes 1.18版本。 emptyDir 当 Pod 分派到某个 Node 上时，emptyDir 卷在node上会被创建，并且在 Pod 在该节点上运行期间，卷一直存在。 就像其名称表示的那样，卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同，这些容器都可以读写 emptyDir 卷中相同的文件。当 Pod 因为某些原因被从节点上删除时，emptyDir 卷中的数据也会被永久删除。 生命周期 从pod被在node上创建到pod从node中删除 使用场景 应用的临时数据大的时候，存放应用的缓存数据。如果想要提高读写速度，可以在node上使用ssd或者tmpfs来满足需求。 创建一个挂载emptyDir的Pod # cat test.yaml apiVersion: v1 kind: Pod metadata: name: test-pd spec: containers: -

因为最近在弄写作课，结果写作课的内容我还需要沉淀才能发，挂念我的读者，今天先发一个胖琪的文章出来哦。本来今天是例行ARTS打卡，暂时先等等了，小编正在筹备中，很快会和大家见面的。 ceph ceph是一款专注于分布式，弹性可扩展的，高扩展性，性能优异的系统存储平台，是跟阿里云OOS同样可以提供对象存储的云服务。能支持P级别的数据存储 一说到大数据，我们能想到的是hadoop，底层数据存储的hdfs，但是实际上现在进入云时代之后，hdfs的要求内容对于一些存储就并不是十分合适。 比如阿里每天需要处理的图片就几P级别的数据量，在hdfs中压缩存储对于快速反应的性能来说是很大的损耗。他们自研的OSS和亚马逊的S3对象存储都是一样的。 我们今天说的ceph是一个开源的对象存储，并且兼容了亚马逊的S3接口与Swift对象存储接口，也就是我们可以使用s3的sdk来使用ceph了。 安装流程 我们安装工具是借助官网提供的一键安装进行安装。 机器分配 由于我们采用的是三台真实服务器，没有再接收多余服务器配置，并且程序也是处于mvp版本，先实现基础功能，后期再进行扩展。 三台一样的机器配置 2个128的固态硬盘，一个系统盘，另外一个所谓数据库存储。 3个8T普通机器硬盘。 32核32G内存。 tidb1上部署安装工具，ceph-deploy。数据节点部署在三台服务器上。监控节点与rgw

查看ceph配置 查看ceph默认配置： ceph --show-config 查看 type.num 的ceph默认配置： 如需查看osd.1，mon.node1的ceph配置 ceph -n osd.1 --show-config ceph -n mon.node1 --show-config 或 ceph-osd -i 1 --show-config ceph-mon -i node1--show-config 又或者： cd /var/run/ceph ceph --admin-daemon ceph-osd.1.asok config show ceph --admin-daemon ceph-mon.node1.asok config show 该命令要求必须在 osd.1 , mon.node1节点上才能执行 这三种方法显示结果都是一样的，不过第三种方法的显示格式和一二种不同而已。 查看 type.num 的ceph默认配置中的某一个字段： 如查看 osd.1 或 mon.node1的 osd_scrub_max_interval 设置 ceph -n osd.1 --show-config | grep osd_scrub_max_interval ceph -n mon.node1 --show-config | grep osd_scrub_max

自己测试的时候用的是虚拟机，在调试过程中遇到切换环境换IP的情况。 那么ceph应该怎样换IP呢？ [TOC] 修改步骤： 1.导出mon的配置; 2.修改mon的配置； 3.修改ceph配置文件 4.关闭ceph集群 5.修改服务器IP，/etc/hosts对应的ip等： 6.导入修改后的mon配置; 7.重启集群 修改步骤如下 1.导出mon配置 ceph mon getmap -o monmap.bin 2.修改mon配置 #打印查看原来的mon配置 monmaptool --print monmap.bin #删除原来mon配置(多个节点直接在后面加"--rm xxxx"即可) monmaptool --rm node1 monmap.bin #添加新的mon配置(多个就多家几个"--add nodeX xxxxx"即可) monmaptool --add node1 192.168.17.15:6789 monmap.bin #修改后打印一下,验证是否修改正确 monmaptool --print monmap.bin 3.修改ceph的配置文件 将/etc/ceph.conf文件中原来的ip地址替换为新的ip地址(每一台都必须修改) 如果是用ceph-deploy安装的，可将安装目录下的ceph.conf修改掉，然后将配置文件同步到其他节点。 ceph-deploy -