硬盘存储

前面系列文章讲解了VI编辑器、常用命令、防火墙及网络服务管理，本篇将讲解磁盘管理相关知识。 本文将会介绍大量的Linux命令，其中有一部分在“linux入门系列5--新手必会的linux命令”一文中已经介绍，遗忘了或没学习过的请自行查看。 磁盘管理主要涉及磁盘扩容以及磁盘配额管理，当服务器磁盘空间达到一定程度（个人认为一般使用量占到总容量的70-80%）就需要考虑新加磁盘实现扩容，一般操作步骤为分区、格式化、挂载、验证及使用。而磁盘配额主要是针对用户设置其最大的磁盘空间使用量，防止当个用户占用磁盘过多的情况。下面将在虚拟机中模拟磁盘的这些管理操作，生产环境中操作命令和方式都是一样的。 在演示具体操作之前先了解一下相关的理论知识。 一、磁盘管理相关理论知识 1.1 文件存储结构与文件定位 Linux系统中一切都是文件，既然是文件那就涉及文件的存储以及文件的定位查找。 1.1.1 文件存储结构 在windows系统中，我们存储文件一般是将磁盘划分为几个不同的盘符（比如C、D、E、F等等），然后将资料存储在不同的盘符下。查找的时候也是根据对应的盘符找到相应的存储文件夹，进而找到对应的文件。 但是在Linux下，情况有些不一样，一切文件都是从根目录开始的，并不像windows一样存在盘符的说法，并且Linux下的目录名称是严格区分大小写的。 文件在Linux中存储是有一定规律的

作者：屠飞飞 链接：https://www.zhihu.com/question/23932487/answer/26176042 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 看到好多媒体报道和知乎回答不靠谱，怒答，不，怂答一记， 转载请联系答主 ： ------------------------------------插入答题感想： 七八个月没在知乎回答过题目，感觉现在在知乎答题很大压力，评论里面一大堆好像我不填坑就欠了他们天大人情似的。我又不收钱又不求月票，就是不更新你咬我啊？信不信我最后来个陨石遁？ 而且还有一堆很好玩的评价：“什么时候完坑什么时候取消反对”，让我想起诸葛亮说的：“能攻心则反侧自消”，知乎是“能填坑则反对自消“。这什么逻辑，其实根本不写不就没反对了么，哈哈哈。 大家真以为回答题目就像母鸡下蛋，噗的一个噗的又一个吗？又要勾起你们的胃口而且逻辑要清晰，又要回答中有干货有技术含量又要让小白也能懂，又要不说假话又还不能泄太多内幕，你们知道要花多少时间去构思吗？你们知道背完这个贴之后再加点胡说八道就可以冒充半小时的IT银行业专家了吗？ 你们的评论太没营养了，都是催稿啊，除了一位叫曹芝虎的同学的答复。更新不会太快的，大家一天来看一次就行了。 -----------------------------------开始正式答题： 问题一

python 文件操作总结 　　文件操作对于编程语言的重要性不言而喻，如果数据不能持久保存，信息技术也就失去了意义。 　　文件操作的内容包括打开文件，操作文件，关闭文件 一，打开文件 　　python中打开文件的函数为open('filename',mode='r',encode='None')，open函数默认返回文件的句柄，我们可以根据句柄来对文件进行增,删,改,查的操作。将句柄赋给我们定义的变量,假设我们定义变量为f，则f=open('filename',mode='r',encode='utf-8') 或者with open('filename') as f。 注意点： 　　1.python解释器打开文件时，是对硬盘进行操作,需要内核态才可以操作硬盘，故此时python解释器是调用操作系统的文件读取接口。windows中文版本默认使用GBK编码表，linux默认使用utf-8，所有如果操作的文件在windows下，非GBK编码的，需要在open函数中声明编码类型，使操作系统运用相应的编码规则进行解码读取，防止串码，乱码现象。 　　2.open主要有三种模式,读(r),写(w),追加(a),其中，默认为读模式。各个模式的详解，见下文。 二，关闭文件 关闭文件有两组方式： 　　1.使用f.close() ,f为open返回的句柄赋值的变量名。 　　2.程序结束后，自动关闭

实验环境：CentOS 7.x （并假设是可以正常使用） 了解一下： SAS硬盘：企业级硬盘，服务器专用。 SATA硬盘：普通笔记本上装的那种。 SCSI硬盘与IDE硬盘：现在不怎么常见，快变成古董了。 两个重要概念 拿到一块硬盘存储设备后要做的：添加设备、分区、格式化（创建文件系统）、创建挂载点、修改配置文件。 Linux系统中一切都是文件，硬件设备也是。 MBR分区格式 MBR （Master Boot Record）格式——主引导记录 主引导记录 （MBR）位于硬盘的0号柱面(Cylinder)、0号磁头(Side)、1号扇区(Sector)。 了解柱面、磁头、扇区。 其中，1扇区称为主引导扇区（也叫主引导记录MBR），占 512 字节（bytes）。它由三个部分组成： 主引导程序（boot loader，即主引导记录，占 446 bytes）； 硬盘分区表DPT（Disk Partition Table，占 64 bytes）； 结束标志（占 2 bytes，固定值为 十六进制 55AA ）。 注意： 硬盘的第一个扇区最重要，它里面保存用来记录硬盘里面有多少个分区以及每一分区的大小。 硬盘分区表是用来说明磁盘上的分区情况，一共占 64 字节，即 16*4 ，所以 最多 只有 4 个 分区信息可以写到第一个扇区中，所以就称这4个分区为4个 主分区 ( primary

详解计算机磁盘系统 硬盘接口 常见的硬盘接口有： IDE 、SATA、SAS、USB、SCSI ，其中 SATA 是目前的主流接口，IDE 则几乎不再使用。 设备文件 计算机的各种硬件设备在 Linux 中都有对应的设备文件，甚至不同的接口也对应着不同的设备文件，从而使用不同的驱动程序来操作硬件设备。对于硬盘，实体设备的文件名一般是 /dev/sd[a-] ；虚拟设备（虚拟机中的硬盘）的文件名一般是 /dev/vd[a-] 。 有时，系统中会有 /dev/sda、/dev/sdb… 等设备文件，它们之间又是什么关系呢？实际上， /dev/sd[a-] 是 SATA/USB/SAS 等硬盘接口对应的设备文件，这类接口都使用 SCSI 模块作为驱动程序。 a、b、c… 则是按系统检测到的顺序来排列的，与实际插槽顺序无关。 我们知道硬盘是可以被分区成多个分区（partition），如在 Windows 中可以将一块硬盘分区成 C:、D:、E: 盘。那么，不同的分区是否也有对应的设备文件呢？ 硬盘结构 提到分区，我们需要先了解一下硬盘的结构。不同寻址方式的硬盘，其结构也不同。硬盘的寻址方式主要有两种： - CHS 寻址方式：由柱面数（Cylinders）、磁头数（Headers）、扇区数（Sectors） 组成 3D 参数，简称 CHS 寻址方式，硬盘容量相对较小。 如传统的机械硬盘

字符编码 字符编码历史及发展 为什么有字符编码 ''' 原因：人们想要将数据存入计算机 计算机的能存储的信息都是二进制的数据 内存是基于电工作的，而电信号只有高低频两种，就用01来表示高低电频，所以计算机里存储的数据都是0101这样的二进制数据 ''' 各种编码表/标准 的由来 """ 基于上述原因与情况 人们输入的都是我们自己能看懂的语言、字符， 而计算机里存储的却是二进制数据，这样计算机不能读懂了 所以在保存数据的时候有一个转换过程，要有一个对应关系将我们输入的字符转换成计算机能够存储的二进制数据 人输入的字符 >> 对应关系转换（字符编码表）>> 二进制数据 A 0100 0001 B 0100 0010 后来美国发明了ASCII码表，用八位二进制来表示一个英文字符 其实所有的英文字符 + 符合，最多也就在125位左右，用七位二进制就够了，采用八进制是给其他语言做了预留 """　 补充： ''' 八位二进制也叫 8bit ---> 0000 0000 常见单位与转换： 8bit = 1Bytes 1024Bytes = 1KB 1024KB = 1MB 1024MB = 1GB 1024GB = 1TB 1024TB = 1PB ''' 各国各类编码的出现 """ 看到美国人有字符编码了，我们中国人也要用计算机，但ASCII码又没有中文的对应关系，于是乎就有国人发明了国标码

DIY S4 HANA主机 http://blog.sina.com.cn/s/blog_be0833d00102wgrl.html 淘宝上面的二手洋垃圾挺多的。 群里网友对S4新系统的学习热情，勾起了我这位电脑fans的兴趣。​ 经过一番在taobao的搜索和对比，攒了一台经济型的主机。其中的一点经验分享，希望能减少大家在这方面浪费过多精力。​ 内存数据库，需要大内存的支持；对硬盘/存储中的读取和回写，有大量的数据需要处理的S4系统，对硬盘的读写速度有更高的要求。所以，攒机需关注机器支持的内存大小和硬盘/存储的读写速度如何？ x86刀片服务器在taobao的选择很多，考虑到这台机器是自己玩玩，刀片放旁边，那家伙的噪音会让人抓狂。于是圈定塔式工作站产品，这类一般都静音。taobao上dell和lenovo有两款可选。 8G的内存条比较经济，要上到100G内存，主板至少要14条内存槽才可以；CPU嘛，现在的核数，个人玩玩还是绰绰有余。 在硬盘读取速度上PCI的固态，要比SATA的固态在速度上更胜一筹。选固态，要注意芯片的种类，这关系到固态硬盘的寿命。 下面，是配置的清单和3个月前购买的价格，​ 当然，还有更经济的配置。CPU和主板，选至强系列的，内存当然要上128G，硬盘/存储，可考虑用两颗1.0或1.5万转速的SAS硬盘，组RAID0，以取得最佳的磁盘读写性能

目录 一、字符编码 1.1计算机基础 　　1.2文本编译器存取文件的原理 　　1.3Python解释器执行py文件的原理 　　1.4 Python解释器与文本编译的异同 　　1.5 字符编码介绍 　　　　1.5.1 什么是字符编码 　　　　1.5.2 涉及到字符编码的两个场景 　　　　1.5.3 字符编码发展史与分类 　　　　1.5.4内存为什么不用UTF-8呢？ 　　　　1.5.5 字符编码之文本编译器操作 　　　　1.5.6 乱码分析 　　1.6总结 二、Python2和3字符编码的区别 　　2、1 字符编码应用之Python 　　2、1、1 执行Python程序的三个阶段 　　2、2 Python2与Python3字符串类型的区别 　　2、2、1 Python2 三、 基本的文件操作 　　3、1 什么是文件？ 　　3、2 为什么要有文件？ 　　3、3 如何用文件？ 　　3、4 总结 四、绝对路径和相对路径 　　4、1 绝对路径 　　4、2 相对路径 五、文件的三种打开方式 　　5、1 文件打开模式之r模式 　　5、2 文件打开模式之w模式 　　5、3 文件打开模式之a模式 　　5、4 文件打开读取二进 六、with管理文件操作上下文 七、文件的高级应用 八、文件修改的两种方式 　　8、1 方式一 　　8、2 方式二 一、字符编码 1.1计算机基础 CPU：控制程序的运行

调优概述 # 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子： 聚类/分类 复杂的文本挖掘 特征提取 用户画像 自然语言处理 我们需要从硬件规划和软件规划等多方面结合实现性能和效率的提升。 硬件规划 # 评估集群规模 # 我们需要搭建多少节点的hadoop集群？回答这个问题考虑的因素比较多：预算？数据量？计算资源？ 需要多少计算资源可能不是特别好评估，推荐横向扩展，随业务规模和应用发展再考虑扩展。开始可以就按照数据量来评估数据规模，估计一下每天的数据增量？保存数据的周期是多少？有没有冷数据方案？ 假设每天增长的数据为600G、3备份存储，以一年规划为例,大概存储为600G 3 360天=633T, 再考虑增加%20的预留，考虑未来数据增长的趋势，考虑应用计算等空间需求。为节省空间可考虑压缩存储（大概可以节省70%空间）。 同时考虑一定冗余量，如果集群一部分节点不可用也要保证业务正常使用（根据集群规模评估冗余比例）。 然后结合节点硬件规划和预算，确定集群规模。假如我们需要650T存储，可以采用30台12 x 2TB的存储配置或者 60台6 x 2TB配置，但是节点数量翻翻

大容量存储结构 这一章主要关注于磁盘的管理 硬盘转速快，读写就快 注意硬盘的转速说的是每分钟 计算机与外存的连接方式： DAS就是磁盘直接和本地连接 而NAS和SAN是非常常见的两种网络存储方式 NAS与SAN NAS： SAN： SAN是一个硬件设备 作者：LSI China 链接： https://www.zhihu.com/question/24335605/answer/27454928 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 DAS即直接连接存储（Direct Attached Storage），NAS即网络接入存储（Network Attached Storage），SAN即存储区域网络（Storage Area Network）。 DAS是指将外置存储通设备通过SCSI或FC接口直接连接到应用服务器上，存储设备是整个服务器结构的一部分。在这种情况下，数据和操作系统往往都未分离。 SAN是通过光纤交换机连接存储阵列和服务器，建立专用数据存储的存储私网。 NAS采用网络技术（TCP/IP、ATM、FDDI），通过网络交换机连接存储系统和服务器主机来建立存储私网。其主要特征是把存储设备、网络接口和以太网技术集成在一起，直接通过以太网网络存取数据。也就是把存储功能从通用文件服务器中分离出来。 三种模式中，DAS模式最简单