md0

学习Linux的第9天

百般思念 提交于 2021-01-24 14:45:06
一、du命令:du -sh * 查看当前目录下的文件大小 二、添加交换分区 mkswap /dev/sdb1 free -m swapon /dev/sdb1 free -m vim /etc/fstab /dev/sdb1 swap swap defaults 0 0 三、磁盘容量配额 redhat 5/6 usrquota redhat 7/8 uquota mount | grep /boot xfs_quota -x -c 'limit bsoft=3m bhard=6m isoft=3 ihard=6 abc' /boot edquota -u abc 四、软硬方式链接 软链接(symbolic link):相当于windows里的快捷方式,删除掉原始文件,链接文件失效。 硬链接(hard link):原始文件被删除,新文件可正常使用 ln命令:用于创建链接文件,格式“In [选项] 目标”。 参数:-s (软链接),不带-s(硬链接) ln -s ini.cfg 1.cfg ln ini.cfg 1.cfg 五、RAID(Redundant Array of Independent Disks)独立冗余磁盘阵列 RAID 0 RAID 1 RAID 5 RAID 10 mdadm命令:用于管理Linux系统中的软件RAID磁盘阵列,格式为“mdadm [模式]

使用 RAID 与 LVM 磁盘阵列技术

随声附和 提交于 2021-01-10 14:56:01
###1.RAID(独立冗余磁盘阵列,Redundant Arrays of Independent Disks) RAID技术通过把多个硬盘设备组合成一个容量更大、安全性更好的磁盘阵列,并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上,然后利用分散读写技术来提升磁盘阵列整体的性能,同时把多个重要数据的副本同步到不同的物理硬盘设备上,从而起到了非常好的数据冗余备份效果,但是它也相应地提高了成本支出。 RAID技术的设计初衷是减少因为采购硬盘设备带来的费用支出,但是与数据本身的价值相比较,现代企业更看重的则是RAID技术所具备的冗余备份机制以及带来的硬盘吞吐量的提升。也就是说,RAID不仅降低了硬盘设备损坏后丢失数据的几率,还提升了硬盘设备的读写速度,所以它在绝大多数运营商或大中型企业中得以广泛部署和应用。 下面来看RAID 0、RAID 1、RAID 5和RAID 10这四种最常见的RAID磁盘阵列的方案。 ####1.1 RAID 0 RAID 0技术把多块物理硬盘设备(至少两块)通过硬件或软件的方式串联在一起,组成一个大的卷组,并将数据依次写入到各个物理硬盘中。这样一来,在最理想的状态下,硬盘设备的读写性能会提升数倍,但是若任意一块硬盘发生故障将导致整个系统的数据都受到破坏。通俗来说,RAID 0技术能够有效地提升硬盘数据的吞吐速度,但是不具备数据备份和错误修复能力

RAID与LVM磁盘阵列技术

*爱你&永不变心* 提交于 2021-01-10 05:55:51
RAID磁盘冗余阵列 部署磁盘阵列 损坏磁盘阵列及修复 磁盘阵列+备份盘 LVM逻辑卷管理器 部署逻辑卷 扩容逻辑卷 缩小逻辑卷 逻辑卷快照 删除逻辑卷 RAID磁盘冗余阵列 1988年 由美国加利福尼亚大学伯克利分校研究提出该技术 R AID技术通过把多个硬盘设备组合成一个容量更大、安全性更好的磁盘阵列,并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上,然后利用分散读写技术来提升磁盘阵列整体的性能,同时把多个重要数据的副本同步到不同的物理硬盘设备上,从而起到了非常好的数据冗余备份效果 , 任何事物都有它的两面性。RAID技术确实具有非常好的数据冗余备份功能,但是它也相应地提高了成本支出 硬件速度排名顺序 : cpu 南桥北桥 内存 硬盘 硬盘一直是计算机发展瓶颈 ,所以出现众多磁盘技术 ,阵列,SSD,DC闪存 RAID核心 特性:( Redundant Array of Independent Disks,独立冗余磁盘阵列) 可用性 -- 安全 高性能 -- 速度 RAID 分类: RAID0 组成条件:两块硬盘 数据写入规则:双盘均分差异化写入 优势:读写速度提高两倍以上 劣势:没有备份,安全性降低,数据容易丢失 成本:不变, 100% 利用 RAID1 组成条件:两块硬盘 数据写入规则:双盘同时写入双份 优势:安全性提升两倍 劣势:数据双份分布写入cpu速度下降

RAID与LVM磁盘阵列技术

无人久伴 提交于 2021-01-08 08:38:30
RAID(Redundant Array of Independent Disks,独立冗余磁盘阵列) RAID概念: RAID技术通过把多个硬盘设备组合成一个容量更大、安全性更好的磁盘阵列,并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上,然后利用分散读写技术来提升磁盘阵列整体的性能,同时把多个重要数据的副本同步到不同的物理硬盘设备上,从而起到了非常好的数据冗余备份效果 1. RAID 0 (最少2块)   概念:RAID 0技术把多块物理硬盘设备(至少两块)通过硬件或软件的方式串联在一起,组成一个大的卷组,并将数据依次写入到各个物理硬盘中。 优点:RAID 0技术能够有效地提升硬盘数据的吞吐速度,在最理想的状态下,硬盘设备的读写性能会提升数倍 缺点:不具备数据备份和错误修复能力,若任意一块硬盘发生故障将导致整个系统的数据都受到破坏 2. RAID 1(最少2块) 概念:RAID 1技术把两块以上的硬盘设备进行绑定,在写入数据时,是将数据同时写入到多块硬盘设备上(可以将其视为数据的镜像或备份)。当其中某一块硬盘发生故障后,一般会立即自动以热交换的方式来恢复数据的正常使用。 优点:RAID 1有极高的安全性,当一块硬盘坏掉后完全不会影响到系统的数据,推荐应用场景:系统盘,对于读写速度要求不高的情景下使用 缺点:贵,浪费!设备利用率下降,加入RAID 1的硬盘越多

软raid实现

女生的网名这么多〃 提交于 2020-12-03 15:47:55
几种raid类型,我就不在这里赘述了,企业一般都是用raid卡,所以一般使用软raid的非常少,但是也有用的,所以就写一个软raid的实验吧,其实用处不大。 实验环境:centos6.9 需要的硬件:5块硬盘,或者5个分区勉强当做试验也行。 #添加两个小技巧 测试磁盘读速 dd if=a_big_file of=/dev/null bs=1M count=2048 可以测试每秒的读速度 dd if=/dev/zero of=a_big_file bs=1M count=2048 可以测试每秒的写速度 一、我们先做创建raid10的试验 1、创建raid设备 注意: 在创建raid前,应该先查看磁盘是否被识别,如果内核还为识别,创建Raid时会报错: cat /proc/partitions 如果没有被识别,可以执行命令: kpartx /dev/sdb或者partprobe/dev/sdb [ root@joker- 7 - 01 ~ ] # mdadm -C /dev/md0 -a yes -l 10 -n 4 -x 1 /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg mdadm: Defaulting to version 1.2 metadata mdadm: array /dev/md0 started. #上面命令 -a 表示

17 RAID与mdadm管理命令

核能气质少年 提交于 2020-11-29 11:52:37
  在"14 磁盘及文件系统管理详解"中,我们详细介绍了磁盘的工作原理,但是,有一点我们一定要明白,作为现在存储数据的主要设备,机械磁盘早就是上个世纪的产品,而它的读写速度与内存、CPU比起来已经不在一个级别上,但是当前“大数据”背景下,我们有大量的数据需要进行存储,这样对磁盘的要求更加高了。   为了解决,或者是缓解磁盘读写存储速度慢,以及保证数据的冗余性,我们创建了RADI技术,同时,通过mdadm命令来管理软RAID。这一节内容,我们就来详细了解RAID技术和mdadm管理命令。 硬盘的分类(接口)   我们说电脑的核心部件为CPU、内存和I/O总线;他们之间的大概工作过程如下图:     1、我们要知道,系统要实现某一个应用的功能,就需要对应的启动这个应用的进程。而这个进程的运行与否,则取决于内核进程。所以,第一步,我们需要将内核进程调用CPU上,让内核进程调用你要实现的那个应用的进程内容。而这些进程内容默认都是存储在内存中的;     所以,我们说内存的大小直接决定了进程运行的快慢;     【这里要注意的是,我们的内存将进程分为一个一个的“页面”,而“页面”的大小正好就是2^n,所以,我们的磁盘上的数据块(block)的大小,也是以2^n来进行存储的,就是为了方便内存调用】     2、内核进程决定调用的哪个普通进程,比如,我要运行“mkdir”创建目录,则这个时候,

centos7制作radi1

馋奶兔 提交于 2020-10-24 06:20:50
1、查看当前作你要radi1的磁盘 2、考虑将两块盘sdb、sdc做成一个raid1;需要删除/dev/sdb、/dev/sdc原有分区,并创建新的分区 删除/dev/sdb、/dev/sdc原有分区操作 并创建/dev/sdb、/dev/sdc新的分区新分区操作 最终分区表如下图 fdisk -l /dev/sdb /dev/sdc 3、开始创建RAID1 yum -y install mdadm mdadm -C /dev/md1 -ayes -l1 -n2 /dev/sd [ b,c ] 1 cat /proc/mdstat #查看raid1状态 fdisk -l | grep /dev/md1 #查看分区 参数解释: –create 表示要创建raid –auto=yes /dev/md1 新建立的软件磁盘陈列设备为md0,md序号可以为0-9 –level=1 磁盘阵列的等级,这里是RAID1 –raid-devices=2 用于构建RAID的磁盘的个数 /dev/sd[b-c]1 磁盘阵列所使用的设备 4、格式化radi1 mkfs.ext4 /dev/md1 5、建立挂载点并挂载 mkdir /data mount /dev/md1 /data 6、设置开机自动挂载 首先需要创建/etc/mdadm.conf,执行以下命令: echo DEVICE /dev/sd {

文件系统的管理

女生的网名这么多〃 提交于 2020-08-17 04:33:43
文件系统 blkid: 能够使用的设备 fdisk : 存在设备 /proc/partition : 系统识别的设备 划分分区后,还未被系统识别时,分区信息在硬盘中的477的64里 mbr: 最大2T gpt :更大 管理存储设备 1. 分区划分 fdisk mhelp d 删除分区 ggpt l 列出系统可用的分区类型 n 新建分区 q 退出 t 修改分区功能id w 保存更改到分区 p 显示分区 p primary 主分区 e extended 拓展分区 Partition number (1-4, default 1): 1 分区id First sector (2048-20971519, default 2048): +100 分区大小 wq 退出并保存,q表示退出不保存 partprobe 同步分区表 fdisk /dev/vdb1 不对,不能对分区分区 主分区和拓展分区之和的最大个数为15 格式化的过程是安装文件系统的过程 mkfs.xfs/dev/vdb5 格式化 mount /dev/vdb5 /mnt 挂载 交换分区 先创建一个分区,再改标签t,w为82(不知道用L查看) 格式化交换分区,mkswap /dev/vdb3 查看交换分区 swapon -s 开机挂载 vi /etc/fstab /dev/vdb3 swap swap defaults 0 0

消息中间件(三) 之 RabbitMQ延迟队列

风格不统一 提交于 2020-08-16 03:48:23
延迟任务 什么是延迟任务 需要延迟一段时间才需要处理的任务. 比如订单关闭, 电商平台一般会给用户30分钟左右交钱时间, 当超时未交钱就需要关闭订单. 订单的延时关闭就是一种延迟任务. 怎么实现延迟任务 定时任务 最普遍的做法应该就是定时任务了, 比如订单关闭例子, 我们会将订单存储在表中, 通过定时任务定时扫表, 比如10分钟一次, 对扫描结果进行时间处理, 如果是超时订单则执行关闭操作. 定时任务实现简单, 缺点是时间延迟时间不准确, 在订单例子中, 如果第一次扫描发现订单为29分钟未支付, 那么该订单只能在第二次扫描时执行关闭, 此时订单已经是39分钟未支付了. 为了提供时间准确性, 我们可以减少定时任务时间, 比如一分钟一次. 时间越短准确性越高, 但是资源消耗的也越多. RabbitMQ延迟队列 RabbitMQ本身没有延迟队列的概念, 但是它在处理死信时使用了类似的功能. 当队列中出现死信, 我们可以让它路由到指定的队列中, 然后再消费该队列消息, 达到延迟功能. 那么什么是死信 dead-lettered message? 官网解释在以下三种情况下message可以成为dead-lettered message 1 The message is negatively acknowledged by a consumer using basic.reject or

创建磁盘分区/raid 创建实践

独自空忆成欢 提交于 2020-08-14 22:36:43
随便记录一点东西,方便自己查看 系统用的centos 7 创建分区:fdisk /dev/sd[a-z] 参数: -n 创建分区 -t 修改文件系统格式 -p 查看分区列表 -d 移除创建的分区 -w 保存分区修改内容,基本上用到就这些。 格式化分区:mke2fs -L name0 -t ext3 -b 1024 /dev/sda 参数: -L 卷标名 -t 系统文件格式 -b 设置块大小1024 raid创建 常见的raid:raid0,raid1,raid5 组合型raid:raid10,raid01 raid50 一般用raid10其中道理应该都明白 mdadm设置 模拟磁盘raid5 建立分区fdisk /dev/sda n 创建分区号 +100G 创建分区大小 -t 修改分区格式 fd 为raid分区格式 w 保存 创建raid用mdadm mdadm -C /dev/md0 -a yes -n 3 -x 1 -l 5 /dev/sda{5,6,7,8} -C 创建一个名称为/dev/md0 -a yes 自动创建目标raid设备的设备文件 -n 使用几块磁盘做raid -x 是否使用空闲磁盘1表示一块磁盘 -l raid级别 5表示raid5 /dev/sda{5,6,7,8} 使用的设备 格式化磁盘并挂载 mke2fs 格式化 mke2fs -t ext4 /dev