背景描述
测试环境某台Docker主机触发磁盘空间报警,经过排查与分析发现是某个docker容器内的应用日志过大导致的,下面是具体的排查步骤。
环境描述
日志文件: php容器 stderr日志
PHP容器: 使用 php:5.6-fpm 镜像
Docker主机:
系统: Ubuntu Server 16.04
Storage Driver: overlay2
容器平台: Rancher 1.6
操作步骤
- 磁盘空间(文件系统)状态
df -Th /
Filesystem Type Size Used Avail Use% Mounted on
/dev/vda1 ext4 99G 70G 25G 75% /
- 统计目录占用磁盘空间
du -h --max-depth=1 /
发现最大目录依次如下列表:
/var/
/var/lib/
/var/lib/docker/
/var/lib/docker/overlay2/
最终占用最大的目录是:
ef24649…省略…f7e6933/
这个目录是某个容器临时存储层目录,其生命周期取决于这个容器的生命周期,目录的名称也是临时存储层的ID,我们可以根据这个ID找到目标容器。
- 找到这个容器
for c in `docker ps -qa`; \
do \
docker inspect $c \
| grep -i 'ef24649...省略...f7e6933' && \
echo $c; \
done
8b251ce7f7ae
这里使用Shell循环依次对比当前主机的容器是否包含这个临时存储层ID。
- 根据容器ID找到容器名字
docker inspect -f '{{ .Name }}' 8b251ce7f7ae
/r-css-css-server-1-d3579e44
- 释放磁盘空间
最后我们要释放被占用的磁盘空间,可以根据找到容器ID/名称在rancher平台上升级这个应用(旧的容器将被删除替换)。
- 验证磁盘空间
df -Th /
Filesystem Type Size Used Avail Use% Mounted on
/dev/vda1 ext4 99G 17G 78G 18% /
小结
最后来总结下文章中的知识点
- 容器存储层的生存周期和容器一样,容器消亡时容器存储层也随之消亡。
- 任何保存于容器存储层的信息都会随容器删除而消失。
- 容器数量较多时可以使用Shell循环,批量对比容器配置信息来找到目标容器。
参考文章
doker&k8s Qun [703906133]