系统环境
cat /etc/os-release
NAME="Ubuntu"
VERSION="18.04.1 LTS (Bionic Beaver)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 18.04.1 LTS"
VERSION_ID="18.04"
正常的磁盘信息
lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 89.1M 1 loop /snap/core/8039
loop1 7:1 0 89.1M 1 loop /snap/core/7917
sda 8:0 0 54.6T 0 disk
└─sda1 8:1 0 54.6T 0 part /data
sdb 8:16 0 111.8G 0 disk
├─sdb1 8:17 0 1M 0 part
└─sdb2 8:18 0 111.8G 0 part /
故障现象
正常登录故障机,在/data目录下执行命令时如:ls,scp,报如下错误:
ls: cannot access xxx: Input/output error
并且查看的目录的权限位全是"?"
故障排查
针对本次的故障排查流程和步骤如下:
(1)查看磁盘相关报错信息,使用dmesg|grep sd
或dmesg|grep error
,获得有详细报错信息:
```
[4188949.476468] EXT4-fs error (device sda1): ext4_lookup:1441: inode #2: comm bash: deleted inode referenced: 14942209
[4188951.685099] EXT4-fs error (device sda1): ext4_lookup:1441: inode #2: comm bash: deleted inode referenced: 14942209
```
上面信息告诉我们` /dev/sda1 `文件系统出现了问题~
(2)尝试手动修复硬盘
` fsck /dev/sda1 `
运气好的话,使用上面的命令即可对故障磁盘进行修复;如果运气不好会出现类似如下报错:
```
fsck from util-linux 2.23.2
/dev/sda1 is mounted
e2fsck: Cannot continue, aborting.
```
(3)尝试如下修复方法
如果你像博主运气不好,可以尝试下面几种方法:
* 重启机器
* 进入单用户模式尝试使用fsck进行文件系统修复,如果你使用的是云主机如阿里云,请放弃该方法,如果想挣扎的话,请联系阿里云工程师协助排查~
* (推荐)修改` /etc/fstab `配置文件,将最后一位置设置为1,再重启系统,让系统在重启中做fsck自动修复,如:` /dev/sda1 /data ext4 defaults 0 1 `
其他
如果你在尝试手动修复硬盘时,看到报错中/dev/sda1 is mounted
,然后执行umount -l /data
再mount -a
或mount /dev/sda1 /data
出现如下报错:
mount: /dev/sda1 already mounted or /data busy
如果你再执行fuser -m /dev/sda1
,如返回非空值,如:36182c 23463c
,再执行fuser -km /dev/sda1
,很好,你再次挂载mount /dev/sda1 /data
出现如下报错:
/dev/sda1 is not a valid block device
是不是有点慌,怎么修着修着把磁盘给修没了~这个太尴尬啦,然后一顿操作猛如虎,fdisk -l, fdisk /dev/sda, parted, blkid
,里面都没有sda盘的信息,懵逼中~
别慌,使用lsblk
查看下,内容如下:
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 89.1M 1 loop /snap/core/8039
loop1 7:1 0 89.1M 1 loop /snap/core/7917
sda 8:0 0 54.6T 0 disk
└─sda1 8:1 0 54.6T 0 part ##并没有被挂载/data目录上
sdb 8:16 0 111.8G 0 disk
├─sdb1 8:17 0 1M 0 part
└─sdb2 8:18 0 111.8G 0 part /
让人心安的是,盘还在,数据还在?对于上面的报错,只需要执行故障排查目录中“ 修改/etc/fstab
配置文件 ”即可,很幸运数据完整都在~
参考文档
来源:51CTO
作者:品鉴初心
链接:https://blog.51cto.com/wutengfei/2454224