遇到的线上故障处理小记

五迷三道 提交于 2019-12-11 03:09:09

磁盘无法挂载

背影:es集群运行在腾讯云主机上,由于早期团队规划不好,es集群的节点的磁盘空间大小各不相同,某一个节点的磁盘比较小,空间不够用了。
按顺序进行了如下的操作:
1、机器新添加一块磁盘,盘符是/dev/vdc,格式化并挂载到/data1目录。
2、停止es进程。
3、把数据(旧磁盘挂载在/data目录)拷贝到/data1。
4、把/data、/data1都进行umount,然后把新磁盘挂载到/data。
5、重新启动es。
6、把旧磁盘(盘符是/dev/vdb)下架。
当时看着是正常的,然后第二天过来,发现磁盘又挂载成/data1,然后手动umount,然后再mount到/data,无法正常挂载。
dumpe2fs 查看,显示上次挂载到/data1
在这里插入图片描述
dmesg 查看到很多如下的日志
[14582821.313036] systemd[1]: Unit data.mount is bound to inactive unit dev-vdb1.device. Stopping, too.
[14584124.960130] Buffer I/O error on dev vdb1, logical block 65044480, lost sync page write
[14584124.962694] JBD2: Error -5 detected when updating journal superblock for vdb1-8.
[14585805.319714] EXT4-fs (vdc): mounted filesystem with ordered data mode. Opts: (null)
结合dumpe2fs及dmesg的输出结果,可以看到进行手动mount到/data的时候,系统认为新磁盘的盘符是/dev/vdb,但是实际上它是/dev/vdc,所以导致异常。
把腾讯云主机重启,然后再查看盘符,可以看到变成了/dev/vdb,再重新进行挂载,可以正常挂载了。
在这里插入图片描述

es

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!