GlusterFS

分布式存储之GlusterFS

限于喜欢 提交于 2021-02-06 15:40:45
1.glusterfs概述 GlusterFS系统是一个可扩展的网络文件系统,相比其他分布式文件系统,GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点,并且其没有元数据服务器的设计,让整个服务没有单点故障的隐患。 当客户端访问GlusterFS存储时,首先程序通过访问挂载点的形式读写数据,对于用户和程序而言,集群文件系统是透明的,用户和程序根本感觉不到文件系统是本地还是在远程服务器上。读写操作将会被交给VFS(Virtual File System)来处理,VFS会将请求交给FUSE内核模块,而FUSE又会通过设备/dev/fuse将数据交给GlusterFS Client。最后经过GlusterFS Client的计算,并最终经过网络将请求或数据发送到GlusterFS Server上。 2.glusterfs常用分布式简介 分布式卷也成为哈希卷,多个文件以文件为单位在多个brick上,使用哈希算法随机存储。 应用场景:大量小文件 优点:读/写性能好 缺点:如果存储或服务器故障,该brick上的数据将丢失 不指定卷类型,默认是分布式卷 brick数量没有限制 创建分布式卷命令: gluster volume create volume_name node1:/data/br1 node2:/data/br1 复制卷是将多个文件在多个brick上复制多份

seafile数据的备份与恢复

[亡魂溺海] 提交于 2021-01-15 05:27:08
seafile数据备份包括MySQL数据备份与seafile,seahub数据备份两个部分。所以在备份的时候需要注意这一点。 我的存储底层用glusterfs数据共享,为了防止一台服务器宕机以后另一台不能用。 今天下午模拟了一下宕机效果,没啥问题,数据都还在。 目前还没有对seafile和glusterfs进行进一步的研究。此处先说一下备份需要注意什么。 1.MySQL的数据备份 mysqldump -uroot -p123456 -A > /all.sql # 公司数据量还比较小,数据量还不到1M所以没用复杂的参数 2.seafile存储 我的底层是glusterfs,即使宕机数据在另一台服务器也是保存的很好。 所以只需要在另一台服务器重新安装服务即可,同时修改一下存储目录: vim /opt/seafile/ccnet/seafile.ini 注意: 我原来测试过数据的迁移,卧槽,怪不得上次迁移没成功。现在才想起来了,在MySQL数据库里有一个seafile用户。这个用户在三个配置文件里面都要用到。 [root@zklf-server01 ~]# ls /opt/seafile/ conf ccnet.conf seafdav.conf seafile.conf seahub_settings.py seahub_settings.pyc

嘉楠科技:云上的AI芯片设计之旅

人盡茶涼 提交于 2020-12-04 23:45:41
嘉楠科技成立于2013年,同年发布了全球首款基于ASIC芯片的区块链计算设备,引领行业进入ASIC时代,自此逐步积累了丰富的芯片量产经验。 2016年,16nm产品量产标志着嘉楠科技成为中国大陆地区先进制程首个阵营的公司。2018年至今,嘉楠科技相继实现全球首个基于自研的7nm芯片量产,以及量产基于RISC-V自研商用边缘智能计算芯片勘智K210。其中,作为AI神经网络加速器的KPU完全依托于自主研发。 目前,嘉楠科技已实现月均上千万颗芯片的量产,产品和服务遍布全球60多个国家和地区,在美国、加拿大、瑞典、冰岛、波黑、马来西亚、韩国、俄罗斯、亚美尼亚和香港等国家和地区均建立了良好的客户群基础。 未来,嘉楠科技将在芯片研发和高性能计算的基础上,协同业务伙伴推动AI在各领域的普惠化进程,通过AI让生活更美好。 面临的挑战 随着半导体制程工艺的逐步演进,现代芯片设计行业越来越依赖于各种各样的电子设计自动化(EDA, Electronic Design Automation)工具软件来辅助设计人员工作。但是在真实的生产实践中,嘉楠科技发现这些设计工具软件对于企业IT基础设施的要求近乎苛刻。如果投入大量人力物力自建数据中心尝试解决这些问题,往往会带来设计工作之外的额外负担。 首先,在芯片设计的不同阶段,设计人员需要用到不同的工具软件,但是不同的工具软件对于IT基础设施的特性要求不尽相同

10.Kubernetes存储之persistent volumes简介

﹥>﹥吖頭↗ 提交于 2020-11-14 06:43:45
说明 管理 存储 和管理 计算 有着明显的不同。 PersistentVolume 给用户和管理员提供了一套API,抽象出 存储 是如何 提供和消耗的细节 。在这里,我们介绍两种新的API资源: PersistentVolume(简称PV) 和 PersistentVolumeClaim(简称PVC) 。 PersistentVolume(持久卷,简称PV)是集群内,由管理员提供的网络存储的一部分。就像集群中的节点一样,PV也是集群中的一种资源。它也像Volume一样,是一种volume插件,但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象,捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。 PersistentVolumeClaim(持久卷声明,简称PVC)是用户的一种存储请求。它和Pod类似,Pod消耗Node资源,而PVC消耗PV资源。Pod能够请求特定的资源(如CPU和内存)。PVC能够请求指定的大小和访问的模式(可以被映射为一次读写或者多次只读)。 PVC允许用户消耗抽象的存储资源,用户也经常需要各种属性(如性能)的PV。集群管理员需要提供各种各样、不同大小、不同访问模式的PV,而不用向用户暴露这些volume如何实现的细节。因为这种需求,就催生出一种 StorageClass 资源。 StorageClass 提供了一种方式

Proxmox VE 部署维护

回眸只為那壹抹淺笑 提交于 2020-10-31 06:48:43
Proxmox VE是一个完整的企业虚拟化开源平台。借助内置的Web界面,您可以轻松管理VM和容器,软件定义的存储和网络,高可用性集群以及单个解决方案上的多个开箱即用工具。 官方下载地址 https://www.proxmox.com 刻录镜像工具(dd模式) https://rufus.akeo.ie 操作管理 中文方式登录 效果图 主机初始化 bash pve_init.sh #!/bin/bash # -------------------------------------------------- #Author: LGhost #Email: admin@attacker.club cat > /etc/apt/sources.list<<EOF deb http://ftp.debian.org/debian stretch main contrib deb http://download.proxmox.com/debian/pve stretch pve-no-subscription deb http://ftp.debian.org/debian stretch-updates main contrib # security updates deb http://security.debian.org stretch/updates main contrib

软件定义存储(SDS)2017市场格局分析

老子叫甜甜 提交于 2020-10-30 07:46:41
昨天我猜中了法国赢,但是没有猜中进球数。凌晨继续又有球赛,我继续表个态,进一个就行,O(∩_∩)O哈! 这两天,我们解读了各种基础软件的格局,除了SDS之外。大家如果没有看过,建议回看下面这两天的文章: 操作系统、数据库和虚拟化软件2017年市场格局分析 备份、归档、复制、SRM等存储管理软件2017市场格局分析 今天我们来谈谈SDS,因为这个太重要了,我必须把它独立成一个专题,才能显示我的重视。 先说一下背景。话说Gartner在2017年把SDS分成两种类型,一个是iSDS,一个是mSDS。 我觉得这个区分还是非常有必要的。iSDS的目的就是代替传统的存储(如VMware vSAN、华为的FusionStorage等等),而mSDS只是一种带外的存储虚拟化软件而已(如EMC的ViPR,华为的OceanStor DJ)和带内的异构虚拟化软件(如VPLEX软件部分,SVC软件部分等等)。 在Gartner的Hyper Cycle 2017年曲线了,我们可以看到,mSDS比iSDS更不成熟,才处于初始阶段。而iSDS好HCI的位置相同,已经过了炒作的高峰。 在Gartner的优先级矩阵,我们看到,iSDS是一个革命性的技术,而mSDS的优先级只是中等。也就是说,iSDS才是未来,需要特别重视和关注的。 Gartner的预测也可以看到,未来mSDS(即图中的storage as a

qemu-pwn 强网杯 2019 两道 qemu 逃逸题 writeup

你离开我真会死。 提交于 2020-10-13 09:51:36
作者:raycp 原文链接: https://mp.weixin.qq.com/s/rJJYXIUWUh33G0KnvYT06w 终于到了这里,把qwb2019的这两题qemu逃逸题复现之后,qemu pwn的复现到这里就告一段落,接下来将会去分析几个qemu的cve。qwb初赛和决赛各有一道qemu逃逸题,初赛是 qwct ,决赛是 ExecChrome 。 因为通过前面的几题分析,对这类pwn题有了一定的掌握。部分分析过程可以省略,所以此次也是将两题写在了一起。 qwct 描述 文件目录: $ ll -rwxrw-rw- 1 raycp raycp 179 Aug 26 06 :01 launch.sh drwxr-xr-x 6 raycp raycp 4 .0K Sep 6 2017 pc-bios -rwxr-xr-x 1 raycp raycp 53M May 25 18 :07 QWCT_qemu-system-x86_64 -rw-rw-r-- 1 raycp raycp 3 .1M Aug 28 04 :42 rootfs.cpio -r-xr-xr-x 1 raycp raycp 8 .2M Jun 3 23 :37 vmlinuz-5.0.5-generic launch.sh 1 2 #!/bin/bash ./qemu-system-x86_64

火影级别的架构师,教你如何解密分布式到微服务的忍术

主宰稳场 提交于 2020-10-04 14:37:18
微服务、云原生、Kubernetes. Service Mesh 是分布式领域的热点技术,它们并不是凭空出现的,一定继承了某些“前辈”的优点。我们不仅要了解这些技术,还要深入理解其发展脉络、原理等,才能游刃有余地将其用于现有的项目开发或老系统改造中。 不论你是有十几年研发经验及架构经验的IT老手,还是刚入门系统架构的IT新手,本书都能对你理解分布式架构和微服务架构大有助益。 卷轴目录 第1章 深入理解网络 从国际互联网开始 NIO,一本难念的经 AIO,大道至简的设计与苦涩的现实 网络传输中的对象序列化问题 HTTP的前世今生 分布式系统的基石: TCP/IP 第2章 分布式系统的经典理论 从分布式系统的设计理念说起 分布式系统的一致性原理 分布式系统的基石之ZooKeeper 经典的CAP理论 BASE准则,一个影响深远的指导思想 重新认识分布式事务 第3章 聊聊RPC 从IPG通信说起 古老又有生命力的RPC 从RPC到服务治理框架 基于ZeroC Ice的微服务架构指南 第4章 深入浅析内存 你所不知道的内存知识 内存计算技术的前世今生 内存缓存技术分析 内存计算产品分析 第5章 深入解析分布式文件存储 数据存储进化史 经典的网络文件系统NFS 高性能计算领域的分布式文件系统 企业级分布式文件系统GlusterFS 创新的Linux分布式存储系统一Ceph

银河麒麟高级服务器操作系统V10

心不动则不痛 提交于 2020-09-30 06:39:40
银河麒麟高级服务器操作系统V10是针对企业级关键业务,适应虚拟化、云计算、大数据、工业互联网时代对主机系统可靠性、安全性、性能、扩展性和实时性的需求,依据CMMI 5级标准研制的提供内生安全、云原生支持、国产平台深入优化、高性能、易管理的新一代自主服务器操作系统;同源支持飞腾、龙芯、申威、兆芯、海光、鲲鹏等自主CPU及x86平台;可支撑构建大型数据中心服务器高可用集群、负载均衡集群、分布式集群文件系统、虚拟化应用和容器云平台等,可部署在物理服务器和虚拟化环境、私有云、公有云和混合云环境;应用于政府、国防、金融、教育、财税、公安、审计、交通、医疗、制造等领域。 产品特点 同源优化支持自主CPU 同源构建支持六大国产平台,内核、核心库和桌面环境等所有组件基于同一套源代码构建,并面向各自主CPU及服务器整机进行了针对性优化适配,为不同平台的软硬件生态提供兼容一致的开发和运行接口,为管理员提供一致的运维管理体验。 一体化内生本质安全 基于自主软硬件、密码技术的内核与应用一体化的内生本质安全体系:自研内核安全执行控制机制KYSEC、生物识别管理框架和安全管理工具,支持多策略融合的强制访问控制机制;支持国密算法SMx和可信计算TCM/TPCM、TPM2.0等;达到GB/T 20272第四级、B+级安全技术要求。 虚拟化及云原生支持 优化支持KVM、Docker、LXC虚拟化,以及Ceph

附024.Kubernetes全系列大总结

≡放荡痞女 提交于 2020-08-16 07:18:12
Kubernetes全系列总结如下,后期不定期更新。 欢迎基于学习、交流目的的转载和分享,禁止任何商业盗用,同时希望能带上原文出处,尊重ITer的成果,也是尊重知识。 若发现任何错误或纰漏,留言反馈或右侧添加本人反馈。 正篇 001.Kubernetes简介 002.Kubernetes简单入门实例 003.Kubernetes二进制部署准备 004.Kubernetes二进制部署创建证书 005.Kubernetes二进制部署kubectl 006.Kubernetes二进制部署ETCD 007.Kubernetes二进制部署Flannel 008.Kubernetes二进制部署Nginx实现高可用 009.Kubernetes二进制部署kube-apiserver 010.Kubernetes二进制部署kube-controller-manager 011.Kubernetes二进制部署kube-scheduler 012.Kubernetes二进制部署worker节点Flannel 013.Kubernetes二进制部署worker节点Nginx实现高可用 014.Kubernetes二进制部署docker 015.Kubernetes二进制部署所有节点kubelet 016.Kubernetes二进制部署所有节点kube-proxy 017