资源池的两个小教训
admin
2023-05-29 07:21:47
0

“不要使用全局的资源池。除非你真的知道它的合理配置——如大小、超时等。”


我在这个坑里踩了两次了。

第一次是Http的连接池。我用了一个默认的PoolingHttpClientConnectionManager来进行REST服务调用。没想到,默认配置下的http连接池中,同一个域名最多只创建两个链接。结果压力稍微上来一点就瞬间悲剧了。


第二次是线程池。Spring的task:annotation-driven配置会将全局的@Async注解类/方法,以及定时任务都放到同一个线程/任务池中进行异步调用。结果,当其中某些任务阻塞住了工作线程时,系统中一大批多线程操作都超时了。


除了这两个坑外,我算是成功的躲开了一个坑。

使用Java 8的parallel stream来运行多线程任务时,默认情况下,所有线程由ForkJoinPool.commonPool()来调度、运行。与我第二次踩坑时的问题相似:如果有某些任务阻塞住了工作线程时,其它多线程任务会付出额外的等待时间,甚至超时。


这次我用了自定义的ForkJoinPool来躲开这个坑。并且我提醒自己:使用全局资源池时,一定要慎重。例如,全局的线程池、http/db连接池、缓存池等等。因为“全局”的覆盖面和影响面都太广,一个地方的无心之失,就可能导致千百处问题。这样的风险太大、太不可控了。


不过,数据库连接池算是一个特例。实际上,数据库连接池同样有上面这些风险,只不过大部分情况下,我们对数据库连接池机制研究以及大小、超时时间等方面的配置已经比较完善了,因此才很少出现影响应用服务的问题。另外,由于数据库操作实在是太频繁了,数据库连接池算是一个刚需,没它不行。


区分使用资源池,可以起到问题隔离的作用。不过,过多的资源池有时候也会造成资源浪费。虽然这种情形的概率会更小,但是一旦真的出现问题了,那么要定位和解决起来就不是那么容易的了。


我的经验是,区分一下各类操作的类型(CPU密集运算、数据库读写操作、网络IO、硬盘IO等),对不同类型操作使用不同资源池(如不同的线程池);对同一类型的操作,可以再做细分(如内网IO、外网IO等),并以此为依据使用不同的资源池。

但总归,不要简单粗暴的使用全局统一的资源池。

相关内容

热门资讯

逐际动力全新全尺寸交互人形机器... 【太平洋科技快讯】5月20日,AI驱动人形机器人厂商逐际动力(LimX Dynamics)公布旗下全...
从超广角到超长焦,哪款手机拍照... “哪款手机拍照效果好”这个问题,很多时候可以拆解为:它在不同焦段下的表现是否都够用?一台手机主摄很强...
原创 世... 长江,这条滋养中华儿女的母亲河,同时也是世界水能最丰富的河流、亚洲最长的河流,它承载着亿万年的岁月与...
河南尉氏县通报居民呕吐腹泻:雨... 记者从河南尉氏县联合调查组了解到,5月19日晚,尉氏县城区有居民出现呕吐,腹泻等异常状况。经调查,原...
美团无人机低空航网正式投入运营... 5月21日,美团无人机宣布其打造的“低空航网”正式投入常态化运营,同时面向全国低空物流运营人开启授权...
Figure AI直播爆火,这... 最近,硅谷机器人公司 Figure AI 的一场分拣直播,把人形机器人重新推到科技圈聚光灯下。 直播...
外交部回应朝鲜无核化相关问题 5月21日,外交部发言人郭嘉昆主持例行记者会。有记者就朝鲜半岛无核化相关内容提问。郭嘉昆表示,中方在...
“6G网要来了”!中国率先布局 4G实现的是人人通信,5G是人机物通信,而6G将实现人、机、物、灵的通信——“灵”,即具有自主学习、...
河北大学网络空间安全与计算机学... 河北大学网络空间安全与计算机学院杜瑞忠教授的最新研究成果“LPPUBR: Lightweight P...
南太行失踪网红小松树被偷偷回栽... 极目新闻记者 李贤诚南太行河南辉县龙水梯红旗尖观景台网红小松树近日莫名消失后,5月20日,有热心人士...