ceph

引言 由于机器要更换IP地址，更改重启后，各ceph监控进程出现异常，无法启动，本文用于记录并说明该问题。 现象 更换IP地址后，直接启动mon无法启动，总是发现报绑定IP地址的错误。初步猜测为： 进程需要绑定本地的IP:PORT进行监听，地址已改，而绑定的还是修改前的地址，绑定失败，所以报错。 [root@gnop029-ct-zhejiang_wenzhou-16-20 ceph]# ./startmon.sh monmaptool: monmap file /etc/ceph/monmap monmaptool: /etc/ceph/monmap exists, --clobber to overwrite '/var/lib/ceph/mon/ceph-a' already exists and is not empty: monitor may already exist === mon.a === Starting Ceph mon.a on ceph-10... 2015-11-23 13:23:47.855887 7f4a5a36a7a0 -1 WARNING: 'mon addr' config option 101.71.4.20:6789/0 does not match monmap file continuing with monmap

前言: 目前XFS已成为Linux主流的文件系统，所以有必要了解下其数据结构和原理。 XFS文件系统 XFS是一个日志型的文件系统，能在断电以及操作系统崩溃的情况下保证数据的一致性。XFS最早是针对IRIX操作系统开发的，后来移植到linux上，目前CentOS 7已将XFS作为默认的文件系统。使用XFS已成为了潮流，所以很有必要了解下其数据结构和原理。 XFS官方说明文档参考： https://xfs.org/docs/xfsdocs-xml-dev/XFS_Filesystem_Structure//tmp/en-US/html/index.html 接下来将介绍XFS的一些概念，包括分配组、超级块、inode等等，过程中会结合xfs_db（xfs提供的输出文件系统信息的工具）打印一些信息，了解当前XFS的实时数据。 分配组（Allocation Group） XFS将空间分为若干个分配组，每个分配组大小相等（最后一个可能不等）。分配组包含有超级块、inode管理和剩余空间管理等，所以分配组可以认为是一个单独的文件系统。正是分配组这样的设计，使得XFS拥有了并行IO的能力。在单个分区上使用XFS体现不了这种并行IO能力，但是如果文件系统跨越多个物理硬件比如ceph，并行IO将大大提高吞吐量利用率。 上图为分配组的结构图，重点关注前面4个扇区，从上到下分别为超级块、空闲块信息

前言: 目前XFS已成为Linux主流的文件系统，所以有必要了解下其数据结构和原理。 XFS文件系统 XFS是一个日志型的文件系统，能在断电以及操作系统崩溃的情况下保证数据的一致性。XFS最早是针对IRIX操作系统开发的，后来移植到linux上，目前CentOS 7已将XFS作为默认的文件系统。使用XFS已成为了潮流，所以很有必要了解下其数据结构和原理。 XFS官方说明文档参考：https://xfs.org/docs/xfsdocs-xml-dev/XFS_Filesystem_Structure//tmp/en-US/html/index.html 接下来将介绍XFS的一些概念，包括分配组、超级块、inode等等，过程中会结合xfs_db（xfs提供的输出文件系统信息的工具）打印一些信息，了解当前XFS的实时数据。 分配组（Allocation Group） XFS将空间分为若干个分配组，每个分配组大小相等（最后一个可能不等）。分配组包含有超级块、inode管理和剩余空间管理等，所以分配组可以认为是一个单独的文件系统。正是分配组这样的设计，使得XFS拥有了并行IO的能力。在单个分区上使用XFS体现不了这种并行IO能力，但是如果文件系统跨越多个物理硬件比如ceph，并行IO将大大提高吞吐量利用率。 上图为分配组的结构图，重点关注前面4个扇区，从上到下分别为超级块、空闲块信息

前言 最近2年相信大家都听过kubernetes这种新容器编排工具，越来越多的公司也去学习相关技术，并运用它去解决公司的问题，它在开源社区也是非常火，大小不断的k8smeeting以及容器相关的会议。这火爆程度和在2011年到2016年之间非常火的Openstack非常相似，不论是社区还是公司都是积极的去推动。笔者处在互联网之中，也接触学习过这两套系统，对他们相关技术也是非常的热爱，也在慢慢的根据不同应用场景在公司去推动相关业务转型，如相关服务的容器化技术转型等等，我就在这表达一下自己的一些看法与意见。加深理解大家对openstack 和kubernetes相关体系的理解与学习。 趋势 先简单说下目前的趋势，目前来看Openstack整个项目趋向于稳定，活跃程度相比之前有所下滑，从整个发版速度来看，由原来的半年一个relase转为一年一个relase, 团队的整个核心也将更多精力放在关于系统的可用性和稳定性优化，不过这并不是说他已经过时了，他是经过了上万台服务器的检验，是一个非常好的云操作系统，还是有拥有大量的用户和热爱者，如ebuy, 沃尔玛，京东，美团以及相关的私有云企业服务。 而kubernetes则是业界的新宠，可以用如日中天来形容，首先是Google自家对它的大力支持，包括前段时间Google Cloud捐赠给kubernetes社区800万美元的捐赠就能看出重视程度

前些天，身兼多家硅谷技术公司顾问的Philippe Nicolas贴出了一张有趣的对象存储发展历程图片，以数据表形式详尽地展示了内容寻址存储(CAS)即对象存储的发展历程。 （点击可查看大图） 该图表汇总了多家企业不同产品的起源，X轴代表时间线，Y轴则为企业，项目和产品名称，并作出评论和分析。 和很多创新一样，这个图表充分说明，几乎所有的系统都来自小型厂商。其它IT细分市场是如此，存储亦是如此，即便后者始终与硬件和基础设施相关。 图表中蓝色星标代表一些网络巨头发表的重要论文。这些论文引起了一连串适用于超大规模环境的对象存储方案的商业运作。 GFS(谷歌文件系统)，MapReduce和BigTable加上Hadoop，亚马逊Dynamo，雅虎MObStor和Facebook Cassandra一直是上图大多数公司的主要参考资料。但这些公司并未发现商用产品能够充分满足它们的预期需求，还不肯为产品和复杂性的限制大把烧钱，而更乐意基于它们强大的Linux DNA，设计，构建，开发，控制和掌握自身的技术。 为了方便阅读，左下方进行了标注说明。红圈代表收购案，橙圈代表OEM，实心蓝圈代表开源，空心代表特殊开源，菱形为公司或产品，蓝色星标为重要论文，红色星标为项目，橙色为Apache Hadoop(开源软件架构)，绿色星标代表产品。 第一波浪潮

一、功能划分 Ceph 的提供了一个根据 RADOS 无限扩展的 Ceph 存储集群，相关内容你可以参阅 REDOS- 一个可伸缩的、可靠的存储服务 PB 级别存储集群。存储集 群客户端和每个 Ceph 的 OSD 守护进程使用 CRUSH 算法有效地计算有关数据位置的信息，而不必依赖于一个查找表。 Ceph 的高层次功能包括 Ceph 的 存储集群，通过 librados 提供了一个原生接口，在 librados 基础上建立一些服务接口。 对应的进程 Monitors 监视器（ ceph-mon ）， OSDs 对象存储设备（ ceph-osd ） , 通过读取配置文件 ceph.conf 实现集群。 1.1 OSD 功能 OSD 可以被抽象为两个组成部分，即系统部分和守护进程（ OSD deamon ）部分。 OSD 的系统部分本质上就是一台安装了操作系统和文件系统的计算机，其硬件部分至少包括一个单核的处理器、一定数量的内存、一块硬盘以及一张网卡。系统部分由操作系统内核实现，为 ceph 提供接口。 在 RADOS 的运行过程中， cluster map 的更新完全取决于系统的状态变化，而导致这一变化的常见事件只有两种： OSD 出现故障，或者 RADOS 规模扩大。 Cluster Maps 指包含所有的 Map ： OSD map,monitor map,placement

本文翻译自：http://docs.ceph.com/docs/hammer/architecture/ 一些名词的翻译方式： scalable :可扩展性 high availability：高可用 map:图 cluster map:集群运行图 monitor:监视器 acting set:运行集 up set:在线集 hyperscale：超大规模 data scrub:数据清洗 peering:互联 rebalance:重平衡 full write:一次完整地写 tiering:层 cache tiering:缓存层 ceph体系结构图： ceph集群 根据ceph的相关论文，ceph基于RADOS来提供无限扩展的能力，一个ceph存储集群包含两种类型的守护进程： 监视器（Monitor） OSD守护进程（ OSD Daemon，以下称osd ） 数据的存储 ceph集群从ceph客户端接收数据（客户端可以是一个ceph的块设备，ceph的对象存储网关，ceph的文件系统或者是基于librados写的程序），并以对象的形式存储起来。每个对象就像文件系统中的一个文件，osd负责在存储设备上的读写操作。 osd在一个扁平的命名空间内以对象的形式保存数据。每个对象都包含标识符（identifier），二进制数据(binary data)和以name/value对组成的元数据

前言： 本文以ceph osd部分为例，为您演示通过第三方社区提供的vscode 编辑软件，对ceph osd进行进行图形化单步调试以及配置操作。 vscode是微软公司一个开源的编译器具备轻量的特点，通过插件安装方式提供了丰富的调试功能。通常 Linux环境的c/c++软件开发使用GDB进行命令行调试，命令行操方式极其不方便。使用vscode 的图形化界面可替代gdb 命令行 ，整个开发调试过程更加便捷。 1. 下载安装windows的vscode 在以下地址下载 https://code.visualstudio.com/ 安装openssh (一般情况不用自己手动安装) 如果需要远程开发，Windows机器也需要支持openssh，如果本机没有，会报错 报错信息类似如下： The terminal process command 'cmd.exe /c (type & exit /b 0' failed to launch 可以到微软官网上下载ssh。 以下内容中，ceph源码路径在~/ceph_soft/ceph目录下，其编译运行文件在~/ceph_soft/ceph/build/bin当中。启动调试前需要停止本地的osd运行服务。 Windows10新版本会自带，但是有的没有自带的就需要安装 在安装完成之后，点击左侧的Remote-SSH选项卡

环境准备 1、在运行 Ceph 守护进程的节点上创建一个普通用户,ceph-deploy 会在节点安装软件包，所以你创建的用户需要无密码 sudo 权限。如果使用root可以忽略。 为赋予用户所有权限，把下列加入 /etc/sudoers.d/ceph echo "ceph ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/ceph sudo chmod 0440 /etc/sudoers.d/ceph 2、配置你的管理主机，使之可通过 SSH无密码访问各节点。 3、配置ceph源ceph.repo，这里直接配置163的源，加快安装速度 [Ceph] name=Ceph packages for $basearch baseurl=http://mirrors.163.com/ceph/rpm-mimic/el7/$basearch enabled=1 gpgcheck=1 type=rpm-md gpgkey=http://mirrors.163.com/ceph/keys/release.asc priority=1 [Ceph-noarch] name=Ceph noarch packages baseurl=http://mirrors.163.com/ceph/rpm-mimic/el7/noarch enabled=1

在国外，SDS常指的是Safety Data Sheet，但在我们存储圈，存储人都知道是指软件定义存储的缩写。 以前我比较关注传统的存储的市场，以后会更关注SDS的市场，因为现在存储行业的创新大部分集中在这个领域。 这不，这几天研究了IDC不久前发表的中国SDS的18Q3市场数据，有一点点心得，在这里和大家共享一下。 中国SDS总体市场情况 我们先来看看2018年前三个季度和2017年同期的中国SDS市场格局对比情况 。 我们看到，中国的SDS市场18年前三个季度和17年同比增长了52.3%，这个比例肯定远远高于外部存储的增长。大家要注意的是，这里的数据不仅仅包含SDS的软件，而且包含SDS带动销售的硬件部分。 我看数据里，不管你销售不销售硬件，所有你带动销售的服务器硬件，不管具体品牌，都算软件厂商的销售额。因此，下面的销售额并不能代表真正的厂商销售额，而只是对市场的影响力的一种量化而已，这个大家要搞清楚。 否则就会发现和你了解的市场数据对不上。 我们看到，Top3厂商还是Huawei，Sugon，H3C这些传统存储厂商。Huawei作为传统存储的转型代表，在SDS依然保持第一，可喜可贺。这样正常，因为存储就是一个重投入的行业，华为号称存储研发近3000人，在SDS这块投入怎么也有个几百人吧，投入在那里摆着呢。 Startup公司里面，XSKY一马当先，排在第四位。这个好理解