Hadoop优化与调整
admin
2023-02-21 08:00:03
0

【io.file.buffer.size】(core-site.xml)

用来设置缓存的大小,较大的缓存提供更高效的数据传输,但也意味着更大的内存消耗和延迟

默认值为4KB,一般情况下设置为64KB(65536)

【dfs.balance.bandwidthPerSec】

HDFS平衡器检测集群中使用过度或者使用不足的DataNode,并在这些DataNode之间转移数据块来保证负载均衡。该参数定义了每个DataNode平衡操作所允许的最大使用带宽,单位是byte,网络带宽单位一般是bit

【dfs.block.size】

默认值为67108864,即64MB;参考值为134217728(128M)

【dfs.DataNode.du.reserved】

由于mapred.local.dir经常与DataNode共享可用的硬盘资源,因此我们需要为MapReduce任务保留一些硬盘资源。建议每个硬盘都为map任务保留最小10GB的资源,即10737418240.

【dfs.NameNode.handler.count】

NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。默认值为10,一般讲该值设置为集群大小的自然对数乘以20,即20logN。

该值设置过小明显的症状就是DataNode在连接NameNode的时候总是超时或者连接被拒

【dfs.DataNode.failed.volumes.tolerated】

当DataNode的任意一个本地磁盘故障时,默认认定整个DataNode失效。该参数默认值为0,意味着只要有一个磁盘出现故障就会导致整个DataNode 不可用。参考值为1

【dfs.hosts】

通过含有DataNode主机名列表的文件来确认允许连接并加入集群的DataNode

【dfs.host.exclude】

把相关节点排除在HDFS外,可卸载DataNode

【fs.trash.interval】(core-site.xml)

定义.Trash目录下文件被永久删除前保留的时间(分钟数),默认为0,即垃圾回收站功能关闭,参考值为1440(24小时)

相关内容

热门资讯

刚刚,Claude Opus ... 昨晚,科技圈刚上演了一场开源 AI 大团建。英伟达创始人黄仁勋在社交媒体发表公开信,拉上 Meta、...
瑞松科技获得发明专利授权:“一... 证券之星消息,根据天眼查APP数据显示瑞松科技(688090)新获得一项发明专利授权,专利名为“一种...
中信科智联申请数据关联方法专利... 国家知识产权局信息显示,中信科智联科技有限公司申请一项名为“一种数据关联方法及相关装置”的专利,公开...
福州AI产业发展跑出“加速度” 7月17日至20日,2026世界人工智能大会暨人工智能全球治理高级别会议在上海举行,吸引了全球目光。...
乌民众再度走上街头:不恢复他防... 虽然乌军总司令瑟尔斯基被解除了职位,但是被解职的费多罗夫并未恢复防长职务,乌克兰民众7月24日再度走...
姗姗来迟!万斯晒新生儿照片 美国副总统万斯夫妇日前迎来第4个孩子,他们7月24日终于晒出了新生儿的照片。据美国有线电视新闻网(C...
洗衣机正常洗,水出不出去什么原... 这种情况原因有很多种,1、电机故障造成洗衣机不能脱水,洗衣机电动机有嗡嗡声响而不转动,多数是电动机匝...
半自动洗衣机排不出水是什么原因 1、排水管扭曲,保持排水管的畅通才能让洗衣机正常排水。2、排水缓慢时,有可能是因排水口过高,排水阀拉...
西门子洗衣机经常故障 西门子是全球著名的家电品牌,其洗衣机在国内市场也拥有广泛的用户群体。然而,近年来,一些西门子洗衣机用...
西门子洗衣机平衡自检故障 西门子洗衣机平衡自检故障是一种非常常见的问题,它通常是由于洗衣机内部出现平衡不良的问题导致的。当洗衣...