saltstack在运行的时候会在salt下面会产生无数的job的cache，必须要定期删除，或者是把keep_jobs的时间给写出来，不写的花就好像我一样的悲剧了，他会把整个服务器的inode给占满了，导致服务器没法正常工作了。

grep "keep_jobs" /etc/salt/master
#keep_jobs: 24

把这个给打开，不然日积月累，有没有定期删除job，就会导致硬盘的inode满了，无法工作了

看下我的案例

产生没有释放句柄的原因： 第一线程打开文件。另一个线程将该文件删除。就会出现给问题。将整儿进程kill掉才能释放全部句柄。

我的根目录的inode节点满了，没办法只有自己来看看,重启也没用.

[root@master ~]# df -i
Filesystem      Inodes   IUsed  IFree IUse% Mounted on
/dev/sda3      1240320 1240320      0  100% /
tmpfs           126536       2 126534    1% /dev/shm
/dev/sda1        25688      38  25650    1% /boot
.host:/              0       0      0     - /mnt/hgfs

句柄数即文件数,而能产生大量句柄的就是var目录下,于是写了个for循环开始查找.

for i in `ls /var`;do find $i/ -type f|wc -l &&echo $i ;done
1
account
find: “cache/salt/master/jobs/7c/3238b58e45f242132dade0d989314a/.minions.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/3238b58e45f242132dade0d989314a/.load.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/3238b58e45f242132dade0d989314a/jid”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/f98bd5f094921b93d5435ea81b0414/.minions.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/f98bd5f094921b93d5435ea81b0414/.load.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/f98bd5f094921b93d5435ea81b0414/jid”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/afa7d7cf12cedd5e2f121536749ded/.minions.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/afa7d7cf12cedd5e2f121536749ded/.load.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/afa7d7cf12cedd5e2f121536749ded/jid”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/2f0ced419e95aff3fd0940303ed101/master/return.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/2f0ced419e95aff3fd0940303ed101/master/out.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/2f0ced419e95aff3fd0940303ed101/.minions.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/2f0ced419e95aff3fd0940303ed101/.load.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/2f0ced419e95aff3fd0940303ed101/jid”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/c8ad7fa07b55ceaf9dd4f1fa068ee4/.minions.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/c8ad7fa07b55ceaf9dd4f1fa068ee4/.load.p”: 没有那个文件或目录
find: “cache/salt/master/jobs/7c/c8ad7fa07b55ceaf9dd4f1fa068ee4/jid”: 没有那个文件或目录

找到了删除即可完成.