ceph

一、Rook 、ceph简介 Ceph分布式存储系统 Ceph是一种高度可扩展的分布式存储解决方案，提供对象、文件和块存储。在每个存储节点上，您将找到Ceph存储对象的文件系统和Ceph OSD（对象存储守护程序）进程。在Ceph集群上，您还可以找到Ceph MON（监控）守护程序，它们确保Ceph集群保持高可用性。 Rook Rook 是一个开源的cloud-native storage编排, 提供平台和框架；为各种存储解决方案提供平台、框架和支持，以便与云原生环境本地集成。 Rook 将存储软件转变为自我管理、自我扩展和自我修复的存储服务，它通过自动化部署、引导、配置、置备、扩展、升级、迁移、灾难恢复、监控和资源管理来实现此目的。 Rook 使用底层云本机容器管理、调度和编排平台提供的工具来实现它自身的功能。 Rook 目前支持Ceph、NFS、Minio Object Store和CockroachDB。 二、前期准备 1.已有一个可以正常跑应用的k8s集群 2.在集群中至少有三个节点可用，满足ceph高可用要求，并且服务器具备一块未格式化未分区的硬盘。 3.rook-ceph项目地址： https://github.com/rook/rook https://github.com/rook/rook/blob/master/Documentation/ceph

2020 年 10 月 22 日：Canonical 今天宣布发布包含树莓派优化的 Ubuntu 20.10 桌面版和服务器版系统，以支持研究人员、发明家、教育和企业。为全世界最易可访问的硬件带来了全世界最为流行的开放平台。 “这次版本发布，我们庆祝树莓派基金会致力于将开放计算给带给全球人们所做的承诺”，Canonical CEO，Mark Shuttleworth 说到。“我们也很荣幸通过优化树莓派上的 Ubuntu 以支持上述倡议，不管是个人使用，教育用途还是作为他们未来业务的基础。” 树莓派 2、3 和 4 加入 Ubuntu 认证的一系列 X86 和 ARM 设备队列中。Ubuntu 是以公共云和桌面产品而闻名的操作系统（OS），在 AWS、微软 Azure、Google、IBM 和 Oracle Clouds 被广泛使用。戴尔、惠普和联想都对其电脑做了Ubuntu桌面认证。 Ubuntu 20.10 包含了为弹性的微云（micro cloud），提供VM的小型服务器集群，按需供给的边缘 Kuberenetes 的 LXD 4.6 和 MicroK8s 1.19。可适用于远程办公室，分公司，仓储和分布的基础设施。 Ubuntu 桌面 20.10 在树莓派桌面支持上方的 Ubuntu 20.10 集成了 GNOME 3.38，此版本改进了应用栅格

8月16-17日，由OpenStack基金会举办的国内极具影响力的开源盛会2020 OpenInfra Days China在线上召开。本次大会聚焦“智能开源基础设施”，围绕人工智能、机器学习、5G等应用场景以及容器基础设施、硬件自动化、网络与存储而展开基础设施演进的讨论和技术展望。大会邀请来自全球社区的技术专家和行业资深领袖，分享全球前沿基础设施技术的展望和探索路径。 易捷行云 EasyStack ARM 产品线负责人郭长波在大会“硬件加速器集成与多架构支持”分论坛作“ARM架构在云计算领域的进展-产品化的挑战与最佳实践“演讲，展示了易捷行云基于开源技术，在ARM架构产品化方面的技术优势及最新实践。 郭长波指出，从服务器演进趋势来看，应用从单体到分布式，高可用从物理硬件覆盖到应用自身，容器应用更加轻量化。ARM架构具有低能耗、低成本、高性能的优势，就国产CPU而言，ARM架构相比其他架构性能更强，生态更加完善。 ARM发展30年来，从移动端延伸到服务器端，生态逐步繁荣，应用范围不断扩大。随着信创产业的发展，国内数据中心领域ARM架构迎来新的发展机遇，一方面是国家支持，一方面是各类厂商相互之间开展兼容适配认证，将各方产品组成不同行业的解决方案，ARM成为信创领域的高频热词。但也要看到，当前，ARM产品化仍然遇到一些挑战，比如标准难以统一，生态还不够完善，性能仍需提升

简介 Linux持续不断进军可扩展计算空间，特别是可扩展存储空间，Ceph 最近加入到 Linux 中令人印象深刻的文件系统备选行列，它是一个分布式文件系统，能够在维护 POSIX 兼容性的同时加入了复制和容错功能 Ceph 生态系统架构可以划分为四部分： 1、Clients：客户端（数据用户） 2、cmds：Metadata server cluster，元数据服务器（缓存和同步分布式元数据） 3、cosd：Object storage cluster，对象存储集群（将数据和元数据作为对象存储，执行其他关键职能） 4、cmon：Cluster monitors，集群监视器（执行监视功能） 前期准备 准备两台Centos8虚拟机，配置IP地址和hostname，同步系统时间，关闭防火墙和selinux，修改IP地址和hostname映射，每台虚拟机添加一块硬盘 ip hostname 192.168.29.148 controller 192.168.29.149 computer 配置openstack可参考: https://blog.51cto.com/14832653/2542863 注：若已经创建openstack集群，需要先把实例，镜像和卷进行删除 安装ceph源 [root@controller ~]# yum install centos-release-ceph

存储是容器即服务平台最关键的组件之一。容器原生存储向容器和微服务公开底层存储服务。与软件定义的存储一样，它聚合和汇集来自不同介质的存储资源。 容器原生存储通过提供持久卷，使有状态的工作负载能够在容器中运行。与Kubernetes原语（如StatefulSets）相结合，它提供了在生产环境中运行关键任务工作负载的可靠性和稳定性。 与容器运行时一起，容器原生存储和容器原生网络构成了云原生堆栈中容器优化操作系统之上的层。 尽管Kubernetes可以使用传统的分布式文件系统，如网络文件系统（NFS）和GlusterFS，我们还是建议使用容器感知的存储结构（该结构旨在满足生产中运行的有状态工作负载的需求）。客户可以从各种开源项目和商业实现中选择。 容器原生存储解决方案 云原生生态系统通过容器存储接口（CSI）定义了存储规范，该接口鼓励采用标准的、可移植的方法来实现和使用容器化工作负载的存储服务。 Ceph、Longhorn、OpenEBS和Rook是一些容器原生存储开源项目，而MayaData的Kubera、NetApp的Trident、Portworx、红帽的Container Storage Platform、Robin System的Robin和StorageOS则是带支持的商业产品。 NetApp、Pure

机房停电，ceph启动出现问题： [root@node1 my-cluster]# systemctl restart ceph.target Failed to stop ceph.target: Transaction order is cyclic. See system logs for details. See system logs and 'systemctl status ceph.target' for details 怎么解决呢？不知道，最后一顿捣鼓，他自己好了。但是并不知道他为什么好了。也什么都没干。 捣鼓的步骤如下： 查看/var/log/ceph/ceph.log说是osd超时，看一下日志报的osd连接的端口对方不存在。 [root@node1 my-cluster]# systemctl restart ceph-osd@0 [root@node1 my-cluster]# systemctl restart ceph-mon@node1 结果都报同一个错误。 是不是重启间隔太短，导致出问题？改下service文件 vim /etc/systemd/system/ceph-mon.target.wants/ceph-mon\@node1.service 把StartLimitInterval改成1min。 其他几个模块类似。 重新试，结果还是报

CEPH 14.2.9(nautilus)手动安装遇到的问题及解决方法 "Error ERANGE: pg_num 800 size 2 would mean 2112 total pgs, which exceeds max 750 (mon_max_pg_per_osd 250 * num_in_osds 3)" 官网有人说是BUG( https://tracker.ceph.com/issues/22735 ),有两种解决方式，一种覆盖配置，另一种减小创建pool时的pg数。 我选择的是覆盖配置。 $ vim /etc/ceph/ceph.conf [global] 。。。省略 mon_max_pg_per_osd = 2000 。。。省略 2." 3 monitors have not enabled msgr2" 按步骤配置好ceph-mgr( https://ceph.readthedocs.io/en/latest/mgr/administrator/#mgr-administrator-guide ) 也就是下面两个命令，name是自己定的 # ceph auth get-or-create mgr.$name mon 'allow profile mgr' osd 'allow *' mds 'allow *' # ceph-mgr -i $name 然后执行

针对NFSv4版本需要服务官方说明： NFS version 4 (NFSv4) works throughfirewalls and on the Internet, no longer requires an rpcbind service, supportsACLs, and utilizes stateful operations. Red Hat Enterprise Linux 6 supportsNFSv2, NFSv3, and NFSv4 clients. When mounting a file system via NFS, Red HatEnterprise Linux uses NFSv4 by default, if the server supports it. NFS version4(NFSv4) 工作是通过防火墙和在互联网上 , 不再需要一个 rpcbind 服务 , 支持 acl, 利用有状态操作。 Red HatEnterprise Linux 6 支持 NFSv2 NFSv3,NFSv4 客户。通过 NFS 挂载文件系统时 ,Red HatEnterprise Linux 使用 NFSv4 在默认情况下 , 如果服务器支持它。 针对NFSv4端口协议官方说明： Themounting and locking protocols have

1、移除mon [root@ceph04 ~]# ceph mon remove ceph04 removed mon.ceph04 at 192.168.11.130:6789/0, there are now 2 monitors 2、移除此节点上所有的osd 1)、查看此节点的osd [root@ceph04 ~]# ceph osd tree -4 1.08 host ceph04 8 0.27 osd.8 up 1 9 0.27 osd.9 up 1 10 0.27 osd.10 up 1 2)、把节点上的osd服务停掉 [root@ceph04 ~]# systemctl stop osd 3)、再次查看ceph osd状态 [root@ceph04 ~]# ceph osd tree -4 1.08 host ceph04 8 0.27 osd.8 down 1 9 0.27 osd.9 down 1 10 0.27 osd.10 down 1 4)、删除所有的osd [root@ceph04 ~]# ceph osd rm 8 removed osd.8 [root@ceph04 ~]# ceph osd rm 9 removed osd.9 [root@ceph04 ~]# ceph osd rm 10 removed osd.10 5)

微服务、云原生、Kubernetes. Service Mesh 是分布式领域的热点技术，它们并不是凭空出现的，一定继承了某些“前辈”的优点。我们不仅要了解这些技术，还要深入理解其发展脉络、原理等，才能游刃有余地将其用于现有的项目开发或老系统改造中。 不论你是有十几年研发经验及架构经验的IT老手，还是刚入门系统架构的IT新手，本书都能对你理解分布式架构和微服务架构大有助益。 卷轴目录 第1章 深入理解网络 从国际互联网开始 NIO,一本难念的经 AIO,大道至简的设计与苦涩的现实 网络传输中的对象序列化问题 HTTP的前世今生 分布式系统的基石: TCP/IP 第2章 分布式系统的经典理论 从分布式系统的设计理念说起 分布式系统的一致性原理 分布式系统的基石之ZooKeeper 经典的CAP理论 BASE准则，一个影响深远的指导思想 重新认识分布式事务 第3章 聊聊RPC 从IPG通信说起 古老又有生命力的RPC 从RPC到服务治理框架 基于ZeroC Ice的微服务架构指南 第4章 深入浅析内存 你所不知道的内存知识 内存计算技术的前世今生 内存缓存技术分析 内存计算产品分析 第5章 深入解析分布式文件存储 数据存储进化史 经典的网络文件系统NFS 高性能计算领域的分布式文件系统 企业级分布式文件系统GlusterFS 创新的Linux分布式存储系统一Ceph