背景描述

测试环境某台Docker主机触发磁盘空间报警，经过排查与分析发现是某个docker容器内的应用日志过大导致的，下面是具体的排查步骤。

环境描述

日志文件: php容器 stderr日志
PHP容器: 使用 php:5.6-fpm 镜像
Docker主机: 
    系统: Ubuntu Server 16.04
    Storage Driver: overlay2
容器平台: Rancher 1.6

操作步骤

1. 磁盘空间(文件系统)状态

df -Th /
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/vda1      ext4   99G   70G   25G  75% /

2. 统计目录占用磁盘空间

du -h --max-depth=1 /

发现最大目录依次如下列表:

/var/
/var/lib/
/var/lib/docker/
/var/lib/docker/overlay2/

最终占用最大的目录是:
ef24649...省略...f7e6933/

这个目录是某个容器临时存储层目录，其生命周期取决于这个容器的生命周期，目录的名称也是临时存储层的ID，我们可以根据这个ID找到目标容器。

3. 找到这个容器

for c in `docker ps -qa`; \
do \
  docker inspect $c \
  | grep -i 'ef24649...省略...f7e6933' && \
  echo $c; \
done

8b251ce7f7ae

这里使用Shell循环依次对比当前主机的容器是否包含这个临时存储层ID。

4. 根据容器ID找到容器名字

docker inspect -f '{{ .Name }}'  8b251ce7f7ae

/r-css-css-server-1-d3579e44

5. 释放磁盘空间
   最后我们要释放被占用的磁盘空间，可以根据找到容器ID/名称在rancher平台上升级这个应用(旧的容器将被删除替换)。

6. 验证磁盘空间

df -Th /
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/vda1      ext4   99G   17G   78G  18% /

小结

最后来总结下文章中的知识点

• 容器存储层的生存周期和容器一样，容器消亡时容器存储层也随之消亡。
• 任何保存于容器存储层的信息都会随容器删除而消失。
• 容器数量较多时可以使用Shell循环，批量对比容器配置信息来找到目标容器。

参考文章

doker&k8s Qun [703906133]