linux文件系统

一、文件系统 管理文件系统 文件系统日志方法： 数据模式 索引节点和文件都会被写入日志；丢失数据风险低，但性能差 有序模式 只有索引节点数据会被写入日志，但只有数据成功写入后才删除；在性能和安全性之间取得了良好的折中 回写模式 只有索引节点数据会被写入日志，但不控制文件数据何时写入；丢失数据风险高，但仍比不用日志好 操作文件系统 fdisk 创建分区——sudo fdisk /dev/sdb fdisk 命令： a 设置活动分区标志 b 编辑BSD Unix系统用的磁盘标签 c 设置DOS兼容标志 d 删除分区 l 显示可用的分区类型 m 显示命令选项 n 添加一个新分区 o 创建DOS分区表 p 显示当前分区表 q 退出，不保存更改 s 为Sun Unix系统创建一个新磁盘标签 t 修改分区的系统ID u 改变使用的存储单位 v 验证分区表 w 将分区表写入磁盘 x 高级功能 创建文件系统——sudo mkfs.ext4 /dev/sdb 创建文件系统的命令行程序： 工 具 用 途 mkefs 创建一个ext文件系统 mke2fs 创建一个ext2文件系统 mkfs.ext3 创建一个ext3文件系统 mkfs.ext4 创建一个ext4文件系统 mkreiserfs 创建一个ReiserFS文件系统 jfs_mkfs 创建一个JFS文件系统 mkfs.xfs

接上一篇博客 创建好了文件系统的磁盘仍然是不能用的，必须挂载到某个目录下才能使用 [root@gechong mnt]# ll /dev/sdb* brw-rw----. 1 root disk 8, 16 11月 5 18:59 /dev/sdb brw-rw----. 1 root disk 8, 17 11月 5 19:34 /dev/sdb1 brw-rw----. 1 root disk 8, 18 11月 5 18:59 /dev/sdb2 brw-rw----. 1 root disk 8, 21 11月 5 19:07 /dev/sdb5 查看文件系统信息 [root@gechong mnt]# dumpe2fs /dev/sdb1 挂载文件挂载 [root@gechong /]# cd mnt [root@gechong mnt]# mkdir gechong [root@gechong mnt]# mount /dev/sdb1 /mnt/gechong 查看已经挂载的文件系统 [root@gechong mnt]# mount /dev/mapper/vg_gechong-lv_root on / type ext4 (rw) proc on /proc type proc (rw) sysfs on /sys type sysfs (rw) devpts

Linux 磁盘分区表、文件系统的查看、统计的工具很多，有些工具是多功能的，不仅仅是查看磁盘的分区表，而且也能进行磁盘分区的操作；但在本文，我们只讲磁盘分区的查看，以及分区的使用情况的查看；本文只是给新手上路之用；关于分区工具的操作，我将在以后做专门介绍； 一、df 命令； df 是来自于coreutils 软件包，系统安装时，就自带的；我们通过这个命令可以查看磁盘的使用情况以及文件系统被挂载的位置； 举例： 代码: [root@localhost beinan]# df -lh Filesystem 容量 已用 可用 已用% 挂载点 /dev/hda8 11G 6.0G 4.4G 58% / /dev/shm 236M 0 236M 0% /dev/shm /dev/sda1 56G 22G 35G 39% /mnt/sda1 我们从中可以看到,系统安装在/dev/hda8 ；还有一个56G的磁盘分区/dev/sda1挂载在 /mnt/sda1中； 其它的参数请参考 #man df 二、fdsik fdisk 是一款强大的磁盘操作工具，来自util-linux软件包，我们在这里只说他如何查看磁盘分区表及分区结构；参数 -l ，通过-l 参数，能获得机器中所有的硬盘的分区情况； 代码: [root@localhost beinan]# fdisk -l Disk /dev/hda:

常见分区加载方法： mount挂载iso文件 ： #mkdir /mnt/iso1 #mount –o loop linuxsetup.iso /mnt/iso1 在linux 不需要虚拟光驱，就可以直接读取iso文件了。 mount挂载squashfs压缩文件系统 ： #mkdir /mnt/src-squashfs #sudo mount -t squashfs -o loop src-cd/casper/filesystem.squashfs /mnt/src-squashfs/ #挂载原始squashfs ##因为是只读的如果需要读写 需要copy一份 #rsync -a /mnt/src-squashfs/ /mnt/squashfs/ 在linux 直接读取squashfs文件了。 mount挂载普通分区 ： #fdisk -l #查看磁盘分区 #mkdir /mnt/e #mount /dev/sdb2 /mnt/e 可以将磁盘b的第2个分区挂载到/mnt/e 下面 开机自动mount可以参考：http://www.cnblogs.com/zhishuai/p/7822910.html mount挂载光驱系统 一般来说CDROM的设备文件是/dev/hdc,使用方法: #mkdir /mnt/cdrom #mount /dev/hdc /mnt/cdrom –o

大数据基础 定义 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。 大数据的意义不在于数量，在于挖掘数据的价值，探究海量数据间的相关性 基本特征 容量（Volume） ：数据的大小决定所考虑的数据的价值和潜在的信息 种类（Variety） ：数据类型的多样性 速度（Velocity） ：获得数据的速度 可变性（Variability） ：妨碍处理和有效管理数据的过程 真实性（Veracity） ：数据的质量 复杂性（Complexity） ：数据量巨大，来源多渠道 价值（Value） ：合理运用大数据，以低成本创造高价值 Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。 它的设计是从单个服务器扩展到千数个机器，每个提供本地计算和存储。 Hadoop框架实现分布式最核心的设计： HDFS 和 MapReduce 其中HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。以及在Hadoop2.x内，YARN框架实现了分布式资源调度。 Hadoop 1.0到Hadoop 2.0架构的变化图如下

　　Linux可不可以在开机的时候就将我们要的文件系统都挂载好？这样就不需要每次进入Linux系统还要挂载一次。当然可以，那就直接到/etc/fstab里面去修改。 系统挂载的一些限制： 　　- 根目录/是必须挂载的，而且一定要先于其他mount point被挂载进来。 　　- 其他挂载点必须为已新建的目录，可任意指定，但一定要遵守必需的系统目录架构原则 　　- 所有挂载点在同一时间之内，只能挂载一次 　　- 所有分区在同一时间内，只能挂载一次 　　- 如若进行卸载，必须先将工作目录移到挂载点（及其子目录）以外。 　　 　　先查阅一下/etc/fstab这个文件的内容 　　 　　/etc/fstab（file system table）就会将我们利用mount命令进行挂载时，将所有的参数写入到这个文件中就可以了。除此之外，/etc/fstab还添加了 　　dump这个备份的命令支持，与开机时是否进行文件系统检验fsck等命令相关。 　　/etc/fstab这个文件的内容很重要： 　　第一列，磁盘设备文件或该设备的Label，这个字段请填入文件系统的设备文件名。系统默认使用Label名称。可以使用dumpe2fs命令查阅Label. 　　利用设备名称（ex>/dev/hda1）来挂载分区时，是被固定死的，你的硬盘不可以随意查在任意插槽。而使用Label name来挂载虽然没有插槽方面

一、 Linux控制台的使用与硬件资源管理 1、 Linux控制台的使用 Linux系统由桌面控制台和字符控制台组成，桌面系统其实就是我们安装软件包时的X-window视窗，而X-window的实质是在命令行下运行的一个应用程序。字符控制台是Linux系统的核心，大部分操作都是在字符界面下完成的。 默认Linux下有6个字符控制台，每个控制台可以独立作业，互不影响，真正体现了Linux系统的“多用户、多任务”的特性。 在图形界面下要转入字符界面时，只需按下“Ctrl+Alt+F1”到“F6”组合键中的任何一个，即可进入字符界面。相反，如果要从字符界面切换到X-window下，可以在字符界面命令行输入“startx”或者按下“Ctrl+Alt+F7”组合键即可。 控制台终端(/dev/ttyn）虚拟终端(/dev/pts/n） Linux系统的默认管理员用户是root，与Windows的管理员用户Administrator类似，root用户可以操作系统的任何文件和设备，拥有最高权限。输入登录的用户名root，然后输入对应的密码，即可登录Linux系统了 2、 Linux硬件资源管理 （1）查看CPU信息 [root@localhost ~]# more /proc/cpuinfo 要查看系统物理CPU的个数，可通过如下命令查看： [root@centos7 ~]# cat /proc

一、权限对象 1、文件拥有者（owner） 文件拥有者，也称为文件的属主，由于Linux系统是一个多任务多用户的系统，因此会有很多人来使用这部主机，为了考虑每个人的隐私，文件所有者这个权限就尤为重要。 2、用户组（group） 群组是权限中最有用的功能之一，群组简单理解就是用户组，类似于我们公司的各个部门之间，或者学校的班级之间的划分，每一个班级就是一个群组，群组内的资源是共享的，群组之间是相互隔离的。 3、其他人（others） 对于非文件的拥有者，或者文件的所属组以外的人，我们称为其他人 二、权限类型 Linux权限基于UGO模型进行控制；U代表User，G代表Group，O代表Other；每一个文件的权限基于UGO进行 设置 Linux的基本权限分为读、写、执行（r、w、x），可用数字4、2、1来表示 属主：用户若是文件的主人，则匹配属主的权限，权限在文件的左三位，即第一个rwx 属组：用户与属组在同 一个组，则匹配属组的权限，权限在文件的中三位，即第二个rwx 其他：用户既不是属主也不是属组，则匹配其他的权限，权限在文件的右三位，即第三个rwx 三、r、w、x权限说明 1、对于文件而言 权限 说明 r 可获取文件的数据 w 可修改文件数据 x 可以将此文件运行为进程 2、对于目录而言 权限 说明 r 可以使用ls命令获取其下的所有文件列表 w 可修改此目录下的文件列表

Linux-文件系统完善 在得到文件系统的四个核心文件之后，根据虚拟机中linux系统的文件系统完善自己创建的文件系统。 完善步骤： 1）创建文件系统中常用的文件夹 命令： cd /work/root_nfs/ mkdir lib dev etc/init.d home proc sys root opt tmp var mnt -p 2）把交叉编译器的依赖库文件复制到制作的文件系统中的lib/目录下。（/lib/） 命令： cp /opt/FriendlyARM/toolschain/4.5.1/arm-none-linux-gnueabi/lib/ /work/root_nfs/lib/ -rfd 3）创建需要的设备文件 （/dev/） 命令： mknod dev/console c 5 1 mknod dev/null c 1 3 4）编辑文件系统必须的配置文件 （/etc/） 命令： / 功能：显示命令行格式中的登录用户 */ cp /etc/group /work/root_nfs/etc/ cp /etc/passwd /work/root_nfs/etc/ 操作：修改/work/root_nfs/etc/passwd文件中的所有/bin/bash为/bin/sh / 功能：控制文件系统格式 / cp /etc/fstab /work/root_nfs/etc/ /

一、btrfs文件系统简介 btrfs（B-tree，Butter FS，Better FS）：由GPL授权，Oracle在2007年左右开始研发，支持写时复制（CoW），是ext的取代产品，centos6不支持btrfs btrfs核心特征： 1、多物理卷支持： btrfs可由多个底层物理卷组成 支持RAID、以联机“添加”、“移除”、“修改” 2、支持写时复制跟新机制（CoW）： 修改文件时，不直接修改原文件，而是修改快照复制出那份文件 修改完成后将文件名指向重源文件改为指向修改的复制文件上； 工作模式为：复制、更新、替换指针； 可实现文件的快速修复及恢复。 3、支持数据及元数据校验码：checksum 4、支持子卷：sub_volume 5、支持快照及增量快照：即支持给快照进行快照 6、透明压缩： 将数据存储到btrfs文件系统时，能实现自动压缩； 读取时有能实现自动解压缩，节约存储空间 二、btrfs文件系统管理工具 [root@localhost ~]# btrfs btrfs btrfs-debug-tree btrfs-map-logical btrfstune btrfsck btrfs-find-root btrfs-select-super btrfs-zero-log btrfs-convert btrfs-image btrfs-show-super