ceph

刚才看到XSKY在公众号分享了IDC《2017年Q2中国软件定义存储及超融合市场跟踪报告》里面的几个PPT，分享给大家。 Huawei在块SDS这块做得不错，FusionStorage占据了一小半的市场份额。但在对象SDS这块，华为只排第二，还需努力。XSKY排在第一。 但是从SDS整体市场看，其实文件型的SDS才是大头，超过60%的市场份额。而对象存储则不足10%的空间。可惜XSKY没有分享文件SDS的市场格局（我猜想可能文件SDS的TOP厂商里面没有XSKY，因此就没有分享。我记得XSKY是基于Ceph的，基于Ceph的文件服务目前一般不建议商用，但也有不跟主流走的，如SUSE的发行版可以商用文件服务）。不过，从上图看，整个上半年，华为整体的SDS份额是第一的，而且领先第二名很多，因此我猜想文件SDS中华为应该也有不少份额才行。FusionStorage 6.0的文件和对象功能其实还是原来OceanStor 9000解耦过来的，但国内一般还是销售OceanStor 9000形态多些，因此，不知道这个报告是否把OceanStor 9000也算成SDS？ 从IDC的报告看，SDS的TOP3行业和外部存储不同。SDS的最大行业是政府，然后是运营商。传统存储的大行业——金融相对比较保守，在SDS这部分只排名第五，被教育和媒体行业超过。 也是，SDS毕竟是新事物

说明 管理 存储 和管理 计算 有着明显的不同。 PersistentVolume 给用户和管理员提供了一套API，抽象出 存储 是如何 提供和消耗的细节 。在这里，我们介绍两种新的API资源： PersistentVolume（简称PV） 和 PersistentVolumeClaim（简称PVC） 。 PersistentVolume（持久卷，简称PV）是集群内，由管理员提供的网络存储的一部分。就像集群中的节点一样，PV也是集群中的一种资源。它也像Volume一样，是一种volume插件，但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象，捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。 PersistentVolumeClaim（持久卷声明，简称PVC）是用户的一种存储请求。它和Pod类似，Pod消耗Node资源，而PVC消耗PV资源。Pod能够请求特定的资源（如CPU和内存）。PVC能够请求指定的大小和访问的模式（可以被映射为一次读写或者多次只读）。 PVC允许用户消耗抽象的存储资源，用户也经常需要各种属性（如性能）的PV。集群管理员需要提供各种各样、不同大小、不同访问模式的PV，而不用向用户暴露这些volume如何实现的细节。因为这种需求，就催生出一种 StorageClass 资源。 StorageClass 提供了一种方式

目标 部署Ceph集群服务器，实现以下目标： 安装部署工具ceph-deploy 创建ceph集群 准备日志磁盘分区 创建OSD存储空间 查看ceph状态，验证 步骤 步骤一：安装部署软件ceph-deploy 1）在node1安装部署工具，学习工具的语法格式。 [root@node1 ~]# yum -y install ceph-deploy [root@node1 ~]# ceph-deploy --help [root@node1 ~]# ceph-deploy mon --help 2）创建目录（目录名称可以任意，推荐与案例一致） [root@node1 ~]# mkdir ceph-cluster [root@node1 ~]# cd ceph-cluster/ 步骤二：部署Ceph集群 1）创建Ceph集群配置,在ceph-cluster目录下生成Ceph配置文件（ceph.conf）。 在ceph.conf配置文件中定义monitor主机是谁。 [root@node1 ceph-cluster]# ceph-deploy new node1 node2 node3 2）初始化所有节点的mon服务，也就是启动mon服务。 拷贝当前目录的配置文件到所有节点的/etc/ceph/目录并启动mon服务。 [root@node1 ceph-cluster]# ceph

Kubernetes/K8s架构师实战集训营【2020最新】 下载地址： 百度云盘 这门课上线有 2 年多了，目前进行到 第11期，已有 800 多位学习，并实现了加薪和提升技能的目标，得到学员一致好评，好评率达99%！ 为满足不同需求，这个架构课分为初中级和中高级两个阶段，也可根据需要选择学习。 虽说今年的大环境不是很好，但是从拉钩网招聘数据来看，K8s岗位薪资不降反而上涨不少！工作5年，薪资范围普遍 30k~40k 主要还是因为K8s大势所趋，大公司已经完成落地，正在不断迭代，需要这方面人才来支撑，小公司正在为迁移筹备，也需要这方面人才做主导；而K8s又是一个功能强大、生态完善的容器云平台，运维这个平台就需要具备非常强的专业能力，也就是说不是随便找个高级开发或者架构师就能替代该岗位的！ 章节目录： 01 开班仪式 【回放】开班仪式：行情分析、内容综述及学习建议(7月28日 21:00-22:30) 02 赠送视频 【录播】搭建一个生产级K8S高可用集群（1）(33分钟) 【录播】搭建一个生产级K8S高可用集群（2）(95分钟) 【录播】搭建一个生产级K8S高可用集群（3）(106分钟) 【录播】搭建一个生产级K8S高可用集群（4）(36分钟) 【录播】Ansible入门（基本使用）(126分钟) 【录播】Ansible入门（Playbook&Roles详解）(147分钟) 03

针对腾讯、百度、阿里、京东等100+家互联网公司，对其技术方向进行调查和研究 从18年开始，各大厂商都陆续把底层业务从KVM、Vmware等底层架构开始逐步迁移到Docker+K8s体系中来，而且80%大中型企业的关键业务中更多的云化将是接下来的重中之重，因为很多企业已经意识到容器以及其他云原生的应用不仅会带来技术模式的改变，甚至带来运营模式和商业模式颠覆性的变化。这个变化将会加速企业的竞争，对企业产生极大的冲击，进而也对企业中的IT人产生极大的冲击。当然，这种冲击也会是极大的机遇。 由浅入深吃透容器云、微服务 Kubernetes 在帮助你掌握K8s容器编排平台的架构、核心组件、工作模型等，实现在K8.上运行云原生或传统应用程序。 Docker Docker是一个开放源代码软件项目，让应用程序部署在软件容器下的工作可以自动化进行，借此在Linux操作系统上，提供一一个额外的软件抽象层，以及操作系统层虚拟化的自动管理机制。 Ceph Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。其能够在维护POSIX兼容性的同时加入了复制和 容错功能。 Envoy+lstio Envoy代理配置精讲，涉及Listener、Route、 Cluster、 Endpoin和xDS API等。lstio部分主 要讲述其控制平面相关组件及工作机制，涉及包括流量管理，策略

五、 Storage node节点配置过程 软件包安装（注意安装依赖包） <!-- lang: shell --> cd vsmrepo <!-- lang: shell --> yum localinstall -y *.rpm 准备配置文件 1）编辑/etc/manifest/server.manifest，配置controller节点的ip 2）执行replace-str命令配置contoller与agent之间的认证token <!-- lang: shell --> replace-str 9291376733ec4662929eadcf9eda3b44-e38aeba41c884fc88321ac84028792e4 3）使用parted分区命令，根据实际情况将本地磁盘分区，做好osd的初始化准备 <!-- lang: shell --> parted /dev/sdb -- mklabel gpt <!-- lang: shell --> parted -a optimal /dev/sdb -- mkpart 1MB 2048MB #用于journel <!-- lang: shell --> parted -a optimal /dev/sdb -- mkpart 2049MB 100% #用于data 4）转换建立好的磁盘分区为disk_by_path格式 ls

Proxmox VE是一个完整的企业虚拟化开源平台。借助内置的Web界面，您可以轻松管理VM和容器，软件定义的存储和网络，高可用性集群以及单个解决方案上的多个开箱即用工具。 官方下载地址 https://www.proxmox.com 刻录镜像工具（dd模式） https://rufus.akeo.ie 操作管理 中文方式登录 效果图 主机初始化 bash pve_init.sh #!/bin/bash # -------------------------------------------------- #Author: LGhost #Email: admin@attacker.club cat > /etc/apt/sources.list<<EOF deb http://ftp.debian.org/debian stretch main contrib deb http://download.proxmox.com/debian/pve stretch pve-no-subscription deb http://ftp.debian.org/debian stretch-updates main contrib # security updates deb http://security.debian.org stretch/updates main contrib

昨天我猜中了法国赢，但是没有猜中进球数。凌晨继续又有球赛，我继续表个态，进一个就行，O(∩_∩)O哈！ 这两天，我们解读了各种基础软件的格局，除了SDS之外。大家如果没有看过，建议回看下面这两天的文章： 操作系统、数据库和虚拟化软件2017年市场格局分析 备份、归档、复制、SRM等存储管理软件2017市场格局分析 今天我们来谈谈SDS，因为这个太重要了，我必须把它独立成一个专题，才能显示我的重视。 先说一下背景。话说Gartner在2017年把SDS分成两种类型，一个是iSDS，一个是mSDS。 我觉得这个区分还是非常有必要的。iSDS的目的就是代替传统的存储（如VMware vSAN、华为的FusionStorage等等），而mSDS只是一种带外的存储虚拟化软件而已（如EMC的ViPR，华为的OceanStor DJ）和带内的异构虚拟化软件（如VPLEX软件部分，SVC软件部分等等）。 在Gartner的Hyper Cycle 2017年曲线了，我们可以看到，mSDS比iSDS更不成熟，才处于初始阶段。而iSDS好HCI的位置相同，已经过了炒作的高峰。 在Gartner的优先级矩阵，我们看到，iSDS是一个革命性的技术，而mSDS的优先级只是中等。也就是说，iSDS才是未来，需要特别重视和关注的。 Gartner的预测也可以看到，未来mSDS（即图中的storage as a

作者 | 李鹏（壮怀） 阿里云智能事业群高级技术专家 导读 ：新的企业负载／智能工作负载容器化、迁云、存储方面遇到的性能、弹性、高可用、加密、隔离、可观测性以及生命周期等方面的问题，不但需要存储产品层次的改进，更需要在云原生的控制／数据平面的改进，推进云原生存储和云存储的演进。本文将介绍一下问题场景，探讨可行的解决方案，最终得出云原生存储以及云存储目前可以做什么和未来还需要做什么。 引言 最近有幸参加了由 Infra Meetup 联合 Kubernetes & Cloud Native Meetup 共同组织的面向云原生持久化应用的 Meetup，结合最近对云存储、开源存储、云原生存储的思考，对云原生存储到底是什么，需要做些什么，云原生存储未来挑战是什么，做了更多的反思和梳理，一家之言，分享了几个初步观点。 随着云原生应用对可迁移性、扩展性和动态特性的需求，相应的，对云原生存储也带来了密度、速度、混合度的要求，所以对云存储基本能力又提出了在效率、弹性、自治、稳定、应用低耦合、GuestOS 优化、安全等方面的诉求。 云原生现状 容器和云原生计算被企业快速接纳 Forrester 预测：到 2022 年， 全球组织／公司在生成环境运行容器化应用，从今天不足 30% 的比例将大幅度提升到超过 75%，企业应用容器化的趋势势不可挡。 另一方面，根据 IDC

网易这回良心了： 7月16日，网易公司旗下云服务商网易数帆宣布开源一款名为 Curve 的高性能分布式存储系统， 官方称其性能可达 Ceph 的 1.84 倍。 据官方介绍，Curve 的定位是提供一个高性能、低延迟的存储底座，基于这个存储底座，企业可以打造适用于不同应用场景的存储系统，如块存储、对象存储、云原生数据库等。 CURVE 的设计开发始终围绕三个理念： 一是顺应当前存储硬件设施发展趋势，做到软硬件结合打造顶级的存储产品； 二是秉持 “Simple Can be harder than complex”，了解问题本质情况下选择最简单的方案解决问题； 三是拥抱开源，在充分调研的前提下使用优秀的开源项目组件，避免造轮子。 当前网易基于 CURVE 已经实现了高性能块存储系统，支持快照克隆和恢复 ,支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式, 在网易内部作为高性能云盘使用。 目前，网易数帆已经实现了高性能块存储系统。根据项目文档介绍，Curve 主要具有三大特性： 高性能、高可用和自治 。 1、高性能 Curve 团队参考了业界一些高效的开源存储系统，设计了一个新架构以实现高性能低延迟的核心能力。采用 brpc 保证网络数据流的高性能和低延迟，基于 braft 实现多副本一致性下的低延迟，并对 braft 的快照实现进行了进一步的优化。 磁盘 IO 方面