大量postdrop进程挂死或登录bash 挂起的分析与解决
admin
2023-04-04 17:22:44
0

前言


本文源自作者在苏宁科技集团云平台工作期间的部分工作记录文档,先转到public ,希望能帮到有类似问题的同行


1、  问题描述


/var/log/sa目录是sysstat 安装包的一部分。问题目标机缺失了该目录,当crond 发起的定时任务执行/usr/lib64/sa/sa1访问目录不到报错,会生成mail文件置于/var/spool/postfix/maildrop/,长时间后 /var 目录空间满了之后,导致postdrop 进程阻塞堆积数量多,占用系统资源。

 大量postdrop进程挂死或登录bash 挂起的分析与解决

 

症状2

后来发现另一个症状,root 用户登录时推测有某种消费这些mail 的机制,/var/spool/postfix/maildrop/  如果已经有了文件堆积,会导致登录bash 的 cpu 和内存 消耗很大

 

 

2、  场景复现

1)       用一台虚拟机做测试,该cron文件位于/etc/cron.d/

 大量postdrop进程挂死或登录bash 挂起的分析与解决

/usr/lib64/sa/sa1为每10分钟执行一次

 大量postdrop进程挂死或登录bash 挂起的分析与解决

为了尽快复现,调整为1分钟执行一次

 大量postdrop进程挂死或登录bash 挂起的分析与解决

2)       删除/var/log/sa文件夹

rm –Rf  /var/log/sa

3)       用dd命令占用var空间到接近100%

 大量postdrop进程挂死或登录bash 挂起的分析与解决

4)       由于没有硬盘空间可用,会阻塞大量的sendmail进程和postdrop进程

 大量postdrop进程挂死或登录bash 挂起的分析与解决

 大量postdrop进程挂死或登录bash 挂起的分析与解决

 

当出现找不到sa1文件后,sendmail进程会发消息,并记录到/var/mail/root文件

大量postdrop进程挂死或登录bash 挂起的分析与解决

当磁盘空间不足时候,无法写入导致sendmail被阻塞,会调用postdrop进程将消息丢到/var/spool/postfix/maildrop/文件夹里:

但是磁盘空间不足同样会阻塞postdrop,所以直观表现就是产生大量postdrop和sendmail挂在那。

5) 清除掉var目录下的一部分文件,产生可用磁盘空间,sendmail和postdrop进程会立即解除阻塞状态,postdrop进程全部结束。

 大量postdrop进程挂死或登录bash 挂起的分析与解决

 

 3、  解决方法

1)       清除var目录下部分文件,释放磁盘空间

2)       恢复sa文件夹,避免不断sendmail和postdrop


相关内容

热门资讯

法国颁布归还非法所获文物法律,... 根据法国政府10日发布的公报,法国总统马克龙9日颁布了关于归还非法所获文物的法律。相关法案于7日在法...
德乌将联合生产航程达1500公... 新华社基辅5月11日电 (记者李东旭)正在乌克兰首都基辅访问的德国国防部长鲍里斯·皮斯托里乌斯11日...
特朗普:与伊朗停火协议已“岌岌... 美国总统特朗普11日表示,目前与伊朗的停火协议正处于“岌岌可危”的状态。特朗普还称,将对伊朗取得“彻...
老人喝农药后医护误判死亡?官方... 近日,网传“我县一老人喝农药后医护人员未检查即认为老人已死亡”。对此,我县高度重视,立即成立由卫生健...
张凌赫、刘宇宁或被邀请赴台交流 5月11日,据中国新闻网报道,台北演艺经纪文化交流协会创会理事长王祥基表示,今年将力邀张凌赫、刘宇宁...
台湾演员赴陆偶遇“如花”高喊“... 据台媒TVBS,曾演出《破事精英第二季》的台湾演员萧子一,日前在中国大陆横店影视城巧遇景区知名NPC...
东盟“不选边”走到尽头? 第48届东盟峰会落幕,中东冲突外溢、美国关税施压、内部矛盾凸显,东盟陷入“经济要救生、安全走钢丝”的...
17岁高中生写作业至凌晨,外出... 5月11日,据青海大通县融媒体中心消息:大通县公安局表示,5月8日6时15分,大通县公安局桥头派出所...
天猫“国货严选”纯棉一次性内裤... 淘宝天猫国货严选旗舰店内一次性内裤宣称“纯棉”,“假一赔十”,实际收到商品为“100%聚酯纤维”。近...
字节砍掉30%的AI项目?背后... 来源:市场资讯 (来源:钛媒体APP) 5月9日,一则关于字节跳动AI战略的消息,在社交媒体上迅速发...