raid

随着单块磁盘在数据安全、性能、容量上呈现出的局限，磁盘阵列（Redundant Arrays of Inexpensive/Independent Disks，RAID）出现了，RAID把多块独立的磁盘按不同的方式组合起来，形成一个磁盘组，以获得比单块磁盘更高的数据安全、性能、容量。 一. 常见的RAID 级别 RAID有RAID0~RAID7几种级别，另外还有一些复合的RAID模式，比如：RAID10、RAID01、RAID50、RAID53。 常用的RAID模式有RAID0、RAID1、RAID5、RAID10。 RAID0 RAID0也就是常说的数据条带化(Data Stripping)，数据被分散存放在阵列中的各个物理磁盘上，需要2块及以上的硬盘，成本低，性能和容量随硬盘数递增，在所有的RAID级别中，RAID 0的速度是最快的，但是RAID 0没有提供冗余或错误修复能力，如果一个磁盘（物理）损坏，则所有的数据都无法使用。 对于有容灾模式的RAID阵列，某块磁盘损坏时，只要换上新的硬盘即可，阵列系统会自动同步数据到新的硬盘。(不支持热插拔的话，需要先关机再开机) RAID1 RAID1也就是常说的数据镜像(Data Mirroring)，2块及以上的硬盘(偶数个)，被分为2组，数据在每组磁盘中各有一份，若其中一组有磁盘损坏，另一组可以保证数据访问不会中断

原文首发于个人博客「 tobe的呓语 」欢迎大家的访问收藏啊~ 我们知道，在面对大规模数据的计算和存储时，有两种处理思路： 垂直扩展（scale up） ：通过升级 单机 的硬件，如 CPU、内存、磁盘等，提高计算机的处理能力。 水平扩展（scale out） ：通过添加 更多的机器 到分布式系统中，提高整个系统的处理能力。 在分布式技术尚未成熟的时候，小型机、中型机、大型机、超级计算机逐步升级的方案几乎是大型公司的唯一选择，但是这种垂直扩展是有天花板的，硬件升级的速度远远比不上数据规模的增速，即使是超级计算机也无法满足人们对计算资源的需求。 水平扩展方案，也就是在一个系统里不断添加机器的方案，就这么走上了历史舞台。这就是现在的分布式技术。 在这篇文章里，我将分别介绍单机系统下的 RAID 存储技术以及分布式系统下的存储分布技术，这两种技术在思想上有很相近的地方，希望读者慢慢体会。 RAID RAID，全称是 Redundant Array of Inexpensive/Independent Disks ，也就是磁盘冗余阵列，这里的 I 有两种说法，一种是 Inexpensive， 廉价 ，另一种是Independent ， 独立 。所谓 RAID 就是将多块磁盘组合在一起，对外 抽象 成一个 容量大 ， 读写速度高 ， 容错性好 的大型磁盘。 我很喜欢「抽象」这个概念

概述： “简单的说，RAID是一种把多块独立的硬盘（物理硬盘）按不同的方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据备份技术。”(详细说明可以百度) 测试环境： 虚拟机Red Hat或CentOS都可以 测试目的： 实现raid磁盘的搭建，更好的为系统服务 具体实验步骤如下： 首先给虚拟机添加需要的硬盘 一、raid0（需要两块硬盘） 1、给硬盘分区且转换格式 2、确保硬盘更改，这里可以查看一下 3、对第二块硬盘做同样的步骤 4、做好两块硬盘后，将其做 raid0 5、做好raid0后，为了能正常使用，需要将其格式化并挂载到系统中 二、做镜像卷（需要三块硬盘） 1、依照上面的步骤重新创建三块硬盘且转换格式 2、使用命令制作镜像卷 3、制作完成查看硬盘状态 4、格式化此磁盘，并关掉其中一块硬盘，模拟故障 5、再次查看硬盘状态 三、raid5（四块硬盘） 1、同raid0步骤给硬盘分区且转换格式，然后制作raid5 2、制作完成查看硬盘使用状态 四、raid1+0（四块硬盘） 1、硬盘的分区与转换同raid0步骤，这里就直接制作了 2、查看结果 来源： 51CTO 作者： N九 链接： https://blog.51cto.com/13756925/2446726

【Raid5阵列数据恢复案例简介】 今天记录一次raid5磁盘阵列数据恢复的成功案例。首先简单介绍一下需要数据恢复的服务器基础配置情况： · 客户的服务器设备为EMC存储，raid5磁盘阵列，由多块stat硬盘组成一组磁盘阵列，包含两块热备盘。服务器发生故障崩溃时底层硬盘有2块出现故障，热备盘中有一块被激活。 · 【服务器数据恢复常规检测】 数据恢复中心的数据恢复工程师前往客户现场对服务器设备进行故障检测。服务器数据恢复工程师对客户服务器设备进行了简单排查，确认raid5阵列瘫痪；上层lun无法正常使用，2块热备盘中有一块已经启动。 · 数据恢复工程师对掉线的硬盘进行物理排查，两块硬盘中均未检测到坏道、磁头故障等物理损坏。进行接下来的数据恢复操作时可以不需要进行物理修复即可。 · 【raid5数据备份】 在数据恢复操作之前，需要将服务器设备上的所有原始数据进行镜像备份，在本次数据恢复案例中，服务器数据恢复工程师将所有硬盘连接到北亚数据恢复中心的数据恢复专用存储池中，对所有硬盘进行了扇区级镜像操作。 · 【分析该服务器raid组结构】 服务器数据恢复操作通常都是基于恢复raid组进行数据恢复操作的，因此本次数据恢复操作也同样需要对raid阵列基础信息进行分析，从而重组raid结构。 · 经过数据恢复工程师对每一块硬盘的分析发现，客户原服务器内的两块热备盘内全部没有任何数据

【Raid5阵列数据恢复案例简介】 今天记录一次raid5磁盘阵列数据恢复的成功案例。首先简单介绍一下需要数据恢复的服务器基础配置情况： · 客户的服务器设备为EMC存储，raid5磁盘阵列，由多块stat硬盘组成一组磁盘阵列，包含两块热备盘。服务器发生故障崩溃时底层硬盘有2块出现故障，热备盘中有一块被激活。 · 【服务器数据恢复常规检测】 数据恢复中心的数据恢复工程师前往客户现场对服务器设备进行故障检测。服务器数据恢复工程师对客户服务器设备进行了简单排查，确认raid5阵列瘫痪；上层lun无法正常使用，2块热备盘中有一块已经启动。 · 数据恢复工程师对掉线的硬盘进行物理排查，两块硬盘中均未检测到坏道、磁头故障等物理损坏。进行接下来的数据恢复操作时可以不需要进行物理修复即可。 · 【raid5数据备份】 在数据恢复操作之前，需要将服务器设备上的所有原始数据进行镜像备份，在本次数据恢复案例中，服务器数据恢复工程师将所有硬盘连接到北亚数据恢复中心的数据恢复专用存储池中，对所有硬盘进行了扇区级镜像操作。 · 【分析该服务器raid组结构】 服务器数据恢复操作通常都是基于恢复raid组进行数据恢复操作的，因此本次数据恢复操作也同样需要对raid阵列基础信息进行分析，从而重组raid结构。 · 经过数据恢复工程师对每一块硬盘的分析发现，客户原服务器内的两块热备盘内全部没有任何数据

使用MegaCli和Smartctl获取普通磁盘信息 [root@localhost ~]# cat /proc/scsi/scsi Attached devices: Host: scsi0 Channel: 02 Id: 00 Lun: 00 Vendor: DELL Model: PERC H330 Mini Rev: 4.27 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi0 Channel: 02 Id: 01 Lun: 00 Vendor: DELL Model: PERC H330 Mini Rev: 4.27 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi10 Channel: 00 Id: 00 Lun: 00 Vendor: HL-DT-ST Model: DVD+-RW GU90N Rev: A3C0 Type: CD-ROM ANSI SCSI revision: 05 运行出错： [root@localhost ~]# smartctl -i /dev/sda smartctl 5.43 2012-06-30 r3573 [x86_64-linux-2.6.32-642.el6.x86_64] (local build)

前一篇文章学习了磁盘分区、格式化、挂载等相关知识，本文将讲解RAID和LVM技术。 磁盘管理操作主要是运维人员用的较多，如果只是单纯的开发人员，可以先略过本文。但是在很多小公司里往往都是一人多用，运维、开发通常都是同一个人，因此对个人的技能要求更高。即便不是如此，多了解下相关概念也是有利而无害的。 本文将先讲解RAID技术方案相关理论知识并通过案例演示RAID操作，然后演示LVM技术以解决存储资源动态调整问题。 一、独立冗余磁盘阵列（RAID） RAID（Redundant Array of Independent Disk）技术把多个硬盘设备组合成一个容量更大、安全性更好的磁盘阵列，并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上，利用分散读写技术提升磁盘阵列整体的性能，同时把多个重要数据的副本同步到不同的物理硬盘设备上，从而起到了非常好的数据冗余备份效果。 简单说就是通过RAID技术可以提升磁盘读写性能，同时可以冗余备份数据保证数据可靠性。但是性能和可靠性不可能同时满足的非常好，因此在二者之间作出权衡就产生了不同的RAID方案。 1.1 RAID方案及特点 据说目前RAID磁盘阵列的方案至少有十几种，然而万变不离其宗，都是在读写性能和可靠性之间权衡，因此只介绍几种比较有代表性的方案。 方案 特点 RAID0 磁盘读写性能高，但数据可靠性低 RAID1 磁盘设备利用率低

H3C阵列IX1000的RAID系统改为Windows2003 H3CNeoceanIX1000S是由H3C公司2011年生产的IP网络存储， 该存储原操作系统为suse9的操作系统，由于该操作系统的文件系统为Ext3的文件系统，该文件系统仅支持2T的单个文件，因此当该存储不能建立超过2T的阵列后在H3C管理软件下不能识别。 通过查询网络资料得知该存储是X86架构的，因此我决定利用存储内的SATA接口加装硬盘安装Windows2003操作系统。 1、由于该存储没有显示接口，通过淘宝购买老款PCI接口的显卡插上后接显示器开机正常显示。 2、拔掉电子盘。 3、加装硬盘（可能不支持SATA3的硬盘，我在用固态硬盘安装过程中会出现跑码至78后假死） 4、将键盘鼠标接到存储U口上。 5、开机，出现键盘不识别的问题，通过反复测试，发现只有当主板跑码至3A是及时插上键盘才能识别，过早过晚都会导致键盘识别不了。 6、利用老毛桃2013版制作的winPE引导后，将windows2003克隆至加装的硬盘上。 7、重启后进入Windows2003系统，通过网上下载Broadcom_bc4000_drv210的Windows版驱动可以在Windows下管理Raid。 附图： 至此，原IX1000存储可以利用多块2T硬盘组成大容量阵列。 同时可下载博通网卡管理工具做网卡聚合

Raid 阵列 : 1,raid 0, 提升读写性能 , 不具备备份 , 错误修复能力 总结： 磁盘空间使用率：100%，故成本最低。 读性能：N*单块磁盘的读性能 写性能：N*单块磁盘的写性能 冗余：无，任何一块磁盘损坏都将导致数据不可用。 2,raid1, 数据镜像 , 备份 总结： 磁盘空间使用率：50%，故成本最高。 读性能：只能在一个磁盘上读取，取决于磁盘中较快的那块盘 写性能：两块磁盘都要写入，虽然是并行写入，但因为要比对，故性能单块磁盘慢。 冗余：只要系统中任何一对镜像盘中有一块磁盘可以使用，甚至可以在一半数量的硬盘出现问题时系统都可以正常运行。 3,raid5, 单个磁盘故障后数据不丢失 , 替换磁盘后能从奇偶校验信息恢复数据 总结： 磁盘空间利用率：(N-1)/N，即只浪费一块磁盘用于奇偶校验。 读性能：(n-1)*单块磁盘的读性能，接近RAID0的读性能。 写性能：比单块磁盘的写性能要差（这点不是很明白，不是可以并行写入么？） 冗余：只允许一块磁盘损坏。 4,raid10, 读写 , 安全性能兼顾 总结： 磁盘空间利用率：50%。 读性能：N/2*单块硬盘的读性能 写性能：N/2*单块硬盘的写性能 冗余：只要一对镜像盘中有一块磁盘可以使用就没问题。 参考： https://www.cnblogs.com/ivictor/p/6099807.html 来源：

一、文件系统的基本概念 1. 文件系统：一种用于持久性存贮的系统抽象，是操作系统用于明确存储设备或分区上的文件的方法和数据结构，即在存储设备上组织文件的方法。操作系统中 负责管理和存储文件信息的软件结构 称为文件系统，简称文件系统。 2. 文件：文件系统中一个单元的相关数据在操作系统中的抽象 3. 文件系统的功能 （1）分配文件磁盘空间 管理文件块（哪一块属于哪一个文件） 管理空闲空间（哪一块是空闲的） 分配算法（策略） （2）管理文件集合 定位文件及其内容 命名：通过名字找到文件的接口 最常见：分层文件系统 文件系统类型（组织文件的不同方式） （3）提供的便利及特征 保护：分层来保护数据安全 可靠性/持久性：保持文件的持久即使发生崩溃、媒体错误、攻击等 4. 文件和块 （1）文件属性 名称、类型、位置、大小、保护、创建者、创建时间、最近修改时间、... (2) 文件头：文件系统元数据中的文件信息 文件属性 文件存储位置和顺序 5. 文件描述符 （1）文件访问模式: 进程访问文件数据前必须先“打开”文件 1 f = open(name, flag); 2 ... 3 read(f,...); 4 ... 5 close(f); （2）内核跟踪进程打开的所有文件 操作系统为每个进程维护一个打开文件表 文件描述符是打开文件的标识 （3）文件描述符：操作系统在 打开文件表 中维护的