硬盘类型

字符编码 字符编码历史及发展 为什么有字符编码 ''' 原因：人们想要将数据存入计算机 计算机的能存储的信息都是二进制的数据 内存是基于电工作的，而电信号只有高低频两种，就用01来表示高低电频，所以计算机里存储的数据都是0101这样的二进制数据 ''' 各种编码表/标准 的由来 """ 基于上述原因与情况 人们输入的都是我们自己能看懂的语言、字符， 而计算机里存储的却是二进制数据，这样计算机不能读懂了 所以在保存数据的时候有一个转换过程，要有一个对应关系将我们输入的字符转换成计算机能够存储的二进制数据 人输入的字符 >> 对应关系转换（字符编码表）>> 二进制数据 A 0100 0001 B 0100 0010 后来美国发明了ASCII码表，用八位二进制来表示一个英文字符 其实所有的英文字符 + 符合，最多也就在125位左右，用七位二进制就够了，采用八进制是给其他语言做了预留 """　 补充： ''' 八位二进制也叫 8bit ---> 0000 0000 常见单位与转换： 8bit = 1Bytes 1024Bytes = 1KB 1024KB = 1MB 1024MB = 1GB 1024GB = 1TB 1024TB = 1PB ''' 各国各类编码的出现 """ 看到美国人有字符编码了，我们中国人也要用计算机，但ASCII码又没有中文的对应关系，于是乎就有国人发明了国标码

目录 一、字符编码 1.1计算机基础 　　1.2文本编译器存取文件的原理 　　1.3Python解释器执行py文件的原理 　　1.4 Python解释器与文本编译的异同 　　1.5 字符编码介绍 　　　　1.5.1 什么是字符编码 　　　　1.5.2 涉及到字符编码的两个场景 　　　　1.5.3 字符编码发展史与分类 　　　　1.5.4内存为什么不用UTF-8呢？ 　　　　1.5.5 字符编码之文本编译器操作 　　　　1.5.6 乱码分析 　　1.6总结 二、Python2和3字符编码的区别 　　2、1 字符编码应用之Python 　　2、1、1 执行Python程序的三个阶段 　　2、2 Python2与Python3字符串类型的区别 　　2、2、1 Python2 三、 基本的文件操作 　　3、1 什么是文件？ 　　3、2 为什么要有文件？ 　　3、3 如何用文件？ 　　3、4 总结 四、绝对路径和相对路径 　　4、1 绝对路径 　　4、2 相对路径 五、文件的三种打开方式 　　5、1 文件打开模式之r模式 　　5、2 文件打开模式之w模式 　　5、3 文件打开模式之a模式 　　5、4 文件打开读取二进 六、with管理文件操作上下文 七、文件的高级应用 八、文件修改的两种方式 　　8、1 方式一 　　8、2 方式二 一、字符编码 1.1计算机基础 CPU：控制程序的运行

----- LINUX入门知识 （1） linux 的发行版本、内核版本；二者区别与联系 　　Linux内核是计算机操作系统的核心，是一个提供硬件抽象层、磁盘及文件系统控制、多任务等功能的系统软件，它不是一套完整的操作系统，而是linux操作系统的核心组件。 　　Linux发行版包括了内核与一些其他与文件相关的操作，用户管理系统，和软件包管理器等一系列软件。 　　机器信息 　　 　　内核版本 　　 　　发行版本 　　 （2） linux 中硬盘及分区的表示 　　　　最前面是硬盘种类，中间是硬盘序号，最后是该硬盘分区序号，可以通过fdisk查看硬盘情况（注意：需要sudo权限，否则无法访问） 　　　　硬盘种类有hd、sd，以及最新的nvme 　　以本人电脑为例（电脑有两个硬盘，一个hhd，一个ssd）： 　　　　nvme0是硬盘种类 　　　　n1是硬盘序号 　　　　p1-p7是分区序号 　　 （3）linux 系统支持的文件系统格式 　　　　Linux系统核心可以支持十多种文件系统类型，比如Btrfs、JFS、 ReiserFS、ext、ext2、ext3、ext4、ISO9660、XFS、Minx、MSDOS、UMSDOS、VFAT、NTFS、HPFS、NFS、SMB、SysV、PROC等。 　　对于各个版本的区别，可以参考 http://www.jb51.net

调优概述 # 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子： 聚类/分类 复杂的文本挖掘 特征提取 用户画像 自然语言处理 我们需要从硬件规划和软件规划等多方面结合实现性能和效率的提升。 硬件规划 # 评估集群规模 # 我们需要搭建多少节点的hadoop集群？回答这个问题考虑的因素比较多：预算？数据量？计算资源？ 需要多少计算资源可能不是特别好评估，推荐横向扩展，随业务规模和应用发展再考虑扩展。开始可以就按照数据量来评估数据规模，估计一下每天的数据增量？保存数据的周期是多少？有没有冷数据方案？ 假设每天增长的数据为600G、3备份存储，以一年规划为例,大概存储为600G 3 360天=633T, 再考虑增加%20的预留，考虑未来数据增长的趋势，考虑应用计算等空间需求。为节省空间可考虑压缩存储（大概可以节省70%空间）。 同时考虑一定冗余量，如果集群一部分节点不可用也要保证业务正常使用（根据集群规模评估冗余比例）。 然后结合节点硬件规划和预算，确定集群规模。假如我们需要650T存储，可以采用30台12 x 2TB的存储配置或者 60台6 x 2TB配置，但是节点数量翻翻

－－－－－－－－－－fdisk分区工具－－－－－－－－－－ 一、.下面来介绍fdisk分区工具的命令格式： fdisk是传统的Linux硬盘分区工具，也是Linux系统中最常用的一种硬盘分区工具之一，它的命令格式如下： 其中常用命令选项的说明如下： -b sectorsize: 定义磁盘扇区的大小，有效值包括512、1024和2048，这个选项只对老版本的Linux操作系统有效。 -C cyls: 定义磁盘的柱面数，一般情况不需要对它进行定义，使用默认的就好。 -H heads: 定义分区表所使用的磁盘的碰头数，一般为255或16。 -S sects: 定义每条磁道的扇区数，一般为63。 -l :这是最常用到的一个命令选项，它是显示指定磁盘设备的分区表信息，例如查看/dev/sdb1这个磁盘设备的分区表信息就是：fdisk -l /dev/sdb1 -u :在显示分区表时，以扇区代替柱面作为显示的单位 -s partition: 在标准输出中以block为单位显示分区的大小。 -v :显示fdisk的版本信息。 device:就是磁盘的设备名称，IDE类型的磁盘设备名为［dev/hd[a-h]］；而SCSI或SATA类型的磁盘设备名为［dev/sd[a-p]］。 假如我要查看我电脑上的第一块磁盘的分区表信息（呵呵，我就一块硬盘）可以使用如下命令：fdisk -l /dev/sda

GNU/Linux 不是每个人都想用的。如果你只需要处理一般的事务，打游戏，那么你不需要了解下面这些了。 我不是一个狂热的自由软件份子，虽然我很喜欢自由软件。这篇文章也不是用来推行自由软件运动的，虽然我觉得自由软件运动是非常好的。 这篇文章也不是用来比较 Linux 和 Windows 内核效率，文件系统，网络服务的。我现在是作为一个用户而不是一个开发者来说话的，我们的讨论是基于操作，应用层面的。是为了告诉大学里还不了解，或者不理解 UNIX 的科学工作者和大学生，UNIX 比 Windows 更适合用于科学研究工作，请大家理解 UNIX 的工作方式，不要用 Windows 的标准来要求 Linux，而要用一个科学工作者的标准来要求自己，用UNIX 的思想来武装自己。 我显然是反对在大学，特别是理工科专业推广 Windows 的。我也反对在对"娃娃"们的计算机启蒙教育中使用 Windows。因为 Windows 不论从技术上，经济上，思想风格上都是与我们培养高科技人才的目标格格不入的。Windows 的流行属于历史遗留问题，爷爷一级的人当然已经不可救药，但是我们不应该让下一代继续走上歧途。 UNIX 不是计算机专家的专利 当我建议一些非计算机专业的人用 Linux 的时候，很多人说："UNIX 是计算机系的人用的，我们不能理解。" "UNIX 是男孩用的，我们女孩不用。"

《完全用Linux工作》作者：王垠 完全用 GNU/Linux 工作 理解 GNU/Linux 更多精彩请直接访问 SkySeraph个人站点 ： www.skyseraph.com 注：本文是清华“牛仔”王垠的“成名作”，在网上引起很大的争议。对他崇拜地五体投地者有，对他嗤之以鼻者也有，总之成了一年多以前Linux 爱好者的圈子里的一个很有意思的现象。之后他对这篇文章进行了很大的修改，已经没有了原来那种意气风发。现存的版本如白开水一般无味，请参见： http://learn.tsinghua.edu.cn/homepage/2001315450/ 尽管他原来的观点有所偏激，但我还是很欣赏他原来的风格。 “UNIX 是简单的，你不需要成为天才也能理解这种简单。” 由于GNU/Linux这个词太长，下面如果没有特别指明，“Linux”就是指“GNU/Linux”。 在这个年代，恐怕没有人需要我来介绍 Linux 是什么了吧？如果你觉得“ Linux 只不过是跟 DOS 差不多的东西”，那你恐怕很久在山洞里没见天日了吧？请问问你旁边的 Linux 用户， Linux 到底是个什么地位？ 那为什么我还要写一篇这样的文章？因为，我发现还有很多人不不理解 Linux 和 UNIX ，虽然他们也在用它，但是他们有时会问：“为什么 Linux 不能像 Windows 那样 …… ？”，“怎么

转载自： http://blog.csdn.net/bat603/article/details/1408283 我已经半年没有使用 Windows 的方式工作了。Linux 高效的完成了我所有的工作。 GNU/Linux 不是每个人都想用的。如果你只需要处理一般的事务，打游戏，那么你不需要了解下面这些了。 我不是一个狂热的自由软件份子，虽然我很喜欢自由软件。这篇文章也不是用来推行自由软件运动的，虽然我觉得自由软件运动是非常好的。 这 篇文章也不是用来比较 Linux 和 Windows 内核效率，文件系统，网络服务的。我现在是作为一个用户而不是一个开发者来说话的，我们的讨论是基于操作，应用层面的。是为了告诉大学里还不了解，或者不 理解 UNIX 的科学工作者和大学生，UNIX 比 Windows 更适合用于科学研究工作，请大家理解 UNIX 的工作方式，不要用 Windows 的标准来要求 Linux，而要用一个科学工作者的标准来要求自己，用UNIX 的思想来武装自己。 我显然是反对在大 学，特别是理工科专业推广 Windows 的。我也反对在对"娃娃"们的计算机启蒙教育中使用 Windows。因为 Windows 不论从技术上，经济上，思想风格上都是与我们培养高科技人才的目标格格不入的。Windows 的流行属于历史遗留问题，爷爷一级的人当然已经不可救药

一、kvm虚拟化介绍 什么是虚拟化 虚拟化就是通过模拟计算机硬件(cpu,内存，硬盘，网卡)来实现在一台物理服务器上运行同时多个不同的操作系统，并且使每个操作系统之间都是互相隔离的 为什么要学习虚拟化 目前国内的公有云底层采用的都是kvm虚拟化，经过这几年的快速发展，kvm计算已经非常成熟稳定，在任何linux发行版中，kvm都是标配，虚拟化已经成为了一项必备的技能 虚拟化的应用场景 场景1：只有一台服务器，但是要运行多个版本的软件，不同版本之间还相互冲突 场景2：机房的迁移，物理机在运输过程中容易损坏，导致数据丢失 场景3：openstack部署太难！步骤太繁琐，如何体验最新版的openstack 场景4：开发环境和测试环境经常损坏，运维重复装系统 场景5：业务的扩张，需要快速部署10个一模一样的集群 二、安装KVM虚拟机 环境准备 主机名 kvm01 IP 10.0.0.11 操作系统 centos7 内存 4G 硬盘 50G 在处理器设置中勾选 虚拟化 Intel VT-x... 优化： kvm01在安装系统的时候，不要使用自动分区，自动分区使用的LVM分区，在使用kvm的时候，特别卡！ 关闭selinux 关闭firewalld 安装kvm管理工具 安装： yum install libvirt virt-install qemu-kvm -y　　建议使用光盘安装，会特别快

1. 作者概述 2. 什么是性能调优？(what) 3. 为什么需要性能调优？(why) 4. 什么时候需要性能调优？(when) 5. 什么地方需要性能调优？(where) 6. 什么人来进行性能调优？(who) 7. 怎么样进行性能调优？(How) 8. 总结 硬件配置：CUP Xeon E5620 x 2 8核心， 内存 16G ， 硬盘 RAID 10，操作系统： CentOS 6.4 x86_64（64位）。 概述 在这篇博文中，我不想用一些抽象的概念去说性能调优的问题，只想用最通俗的语言尽量来准确的表达我的想法。 由于本人小平有限，有什么不对或者不清楚的地方欢迎大家交流指正。为了更能通俗易懂的理解我们即将要的性能调优的话题，我在这里简单的和大家说一下我写这篇文章的写作方法 5w+1h方法。 注，5w+1h就是对所做工作进行科学的分析，对某一工作在调查研究的基础上: · 就其工作内容（What） · 责任者（Who） · 工作岗位（Where） · 工作时间（When · 怎样操作（How · 以及为何这样做（Why） 即”5W”、”1H”进行书面描述，并按此描述进行操作，达到完成职务任务的目标。（来源“百度百科”) 哈哈听过马哥课程的一定不陌生！ 二、什么是性能调优？(what) 在说什么是性能调优之前我们先来说一下，计算机的体系结构。 如上图，简单来说包括三块：硬件