故障表现
Web管理后台发现告警，如下图所示：
Pve40这个节点的某个盘down掉了。
问题排查
ssh登录pve40这个机器所在的系统，执行df –h查看磁盘挂接情况，得到如下输出：
通过挂接点名称（ceph-13）与故障osd的id相对照，可以准确无误的判断出物理磁盘/dev/sdc出现了故障。
修复尝试
在告知其它人发生故障以后，并确认故障处理不会导致任何负面作用的情况下，先试着从web管理界面选取故障osd，然后点击“启动”按钮尝试启动，但是很遗憾，不能获得成功。
再次回答系统命令行，执行ceph osd tree确认故障是否与web管理界面所变现的相一致。为了不对运维造成压力（其它人员看到有黄色报警，毕竟还是有点别扭，不懂的人还可能会发飙），决定对故障盘离线并进行如下尝试：
1、 df –h 查看一下磁盘是否被挂载
2、 ceph osd out osd.13 离线操作
3、 ceph auth del osd.13 ；ceph osd rm 13；ceph osd crush remove osd.13
4、 wipefs -af /dev/sdc 清空磁盘
5、 ceph-volume lvm zap /dev/sdc 创建ceph卷
6、 web界面尝试重新创建osd。
到最后一步执行创建的时候，界面一直在转圈，点开日志详情，可看到具体的原因，如下图所示：
输入输出问题，根据多年的经验，硬盘多半物理损害。修复无望，通知相关人员联系机房，从服务器面板查看指示灯状态，没多久，传来服务器照片。
果然亮起了红灯，等着换新硬盘吧。
来源：51CTO
作者：sery
链接：https://blog.51cto.com/sery/2481545