系统环境

cat /etc/os-release

NAME="Ubuntu"
VERSION="18.04.1 LTS (Bionic Beaver)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 18.04.1 LTS"
VERSION_ID="18.04"

正常的磁盘信息

lsblk

NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop0    7:0    0  89.1M  1 loop /snap/core/8039
loop1    7:1    0  89.1M  1 loop /snap/core/7917
sda      8:0    0  54.6T  0 disk
└─sda1   8:1    0  54.6T  0 part /data
sdb      8:16   0 111.8G  0 disk
├─sdb1   8:17   0     1M  0 part
└─sdb2   8:18   0 111.8G  0 part /

故障现象

正常登录故障机，在/data目录下执行命令时如：ls，scp，报如下错误：

ls: cannot access xxx: Input/output error

并且查看的目录的权限位全是"?"

故障排查

针对本次的故障排查流程和步骤如下：

（1）查看磁盘相关报错信息，使用dmesg|grep sd或dmesg|grep error，获得有详细报错信息：

 ```
 [4188949.476468] EXT4-fs error (device sda1): ext4_lookup:1441: inode #2: comm bash: deleted inode referenced: 14942209
 [4188951.685099] EXT4-fs error (device sda1): ext4_lookup:1441: inode #2: comm bash: deleted inode referenced: 14942209
 ```
 上面信息告诉我们` /dev/sda1 `文件系统出现了问题～

（2）尝试手动修复硬盘

 ` fsck /dev/sda1 `

 运气好的话，使用上面的命令即可对故障磁盘进行修复；如果运气不好会出现类似如下报错：

 ```
 fsck from util-linux 2.23.2
 /dev/sda1 is mounted
 e2fsck: Cannot continue, aborting.
 ```

（3）尝试如下修复方法

 如果你像博主运气不好，可以尝试下面几种方法：

 * 重启机器

 * 进入单用户模式尝试使用fsck进行文件系统修复，如果你使用的是云主机如阿里云，请放弃该方法，如果想挣扎的话，请联系阿里云工程师协助排查～

 * （推荐）修改` /etc/fstab `配置文件，将最后一位置设置为1，再重启系统，让系统在重启中做fsck自动修复，如：` /dev/sda1  /data  ext4  defaults        0 1 `

其他

如果你在尝试手动修复硬盘时，看到报错中/dev/sda1 is mounted，然后执行umount -l /data再mount -a或mount /dev/sda1  /data出现如下报错：

mount: /dev/sda1 already mounted or /data busy

如果你再执行fuser -m /dev/sda1，如返回非空值，如：36182c   23463c，再执行fuser -km /dev/sda1，很好，你再次挂载mount /dev/sda1  /data出现如下报错：

/dev/sda1 is not a valid block device

是不是有点慌，怎么修着修着把磁盘给修没了～这个太尴尬啦，然后一顿操作猛如虎，fdisk -l, fdisk /dev/sda, parted, blkid，里面都没有sda盘的信息，懵逼中～

别慌，使用lsblk查看下，内容如下：

NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop0    7:0    0  89.1M  1 loop /snap/core/8039
loop1    7:1    0  89.1M  1 loop /snap/core/7917
sda      8:0    0  54.6T  0 disk
└─sda1   8:1    0  54.6T  0 part   ##并没有被挂载/data目录上
sdb      8:16   0 111.8G  0 disk
├─sdb1   8:17   0     1M  0 part
└─sdb2   8:18   0 111.8G  0 part /

让人心安的是，盘还在，数据还在？对于上面的报错，只需要执行故障排查目录中“ 修改/etc/fstab配置文件 ”即可，很幸运数据完整都在～