Hadoop优化与调整
admin
2023-02-21 08:00:03
0

【io.file.buffer.size】(core-site.xml)

用来设置缓存的大小,较大的缓存提供更高效的数据传输,但也意味着更大的内存消耗和延迟

默认值为4KB,一般情况下设置为64KB(65536)

【dfs.balance.bandwidthPerSec】

HDFS平衡器检测集群中使用过度或者使用不足的DataNode,并在这些DataNode之间转移数据块来保证负载均衡。该参数定义了每个DataNode平衡操作所允许的最大使用带宽,单位是byte,网络带宽单位一般是bit

【dfs.block.size】

默认值为67108864,即64MB;参考值为134217728(128M)

【dfs.DataNode.du.reserved】

由于mapred.local.dir经常与DataNode共享可用的硬盘资源,因此我们需要为MapReduce任务保留一些硬盘资源。建议每个硬盘都为map任务保留最小10GB的资源,即10737418240.

【dfs.NameNode.handler.count】

NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。默认值为10,一般讲该值设置为集群大小的自然对数乘以20,即20logN。

该值设置过小明显的症状就是DataNode在连接NameNode的时候总是超时或者连接被拒

【dfs.DataNode.failed.volumes.tolerated】

当DataNode的任意一个本地磁盘故障时,默认认定整个DataNode失效。该参数默认值为0,意味着只要有一个磁盘出现故障就会导致整个DataNode 不可用。参考值为1

【dfs.hosts】

通过含有DataNode主机名列表的文件来确认允许连接并加入集群的DataNode

【dfs.host.exclude】

把相关节点排除在HDFS外,可卸载DataNode

【fs.trash.interval】(core-site.xml)

定义.Trash目录下文件被永久删除前保留的时间(分钟数),默认为0,即垃圾回收站功能关闭,参考值为1440(24小时)

相关内容

热门资讯

玩家分享攻略“白金岛游戏.开挂... 您好:白金岛游戏这款游戏可以开挂,确实是有挂的,需要了解加客服微信【9752949】很多玩家在这款游...
最新民调:台湾近六成民众不认为... 海峡导报综合报道 12月23日,“台湾民意基金会”公布民进党政党形象,其中近六成民众认为,民进党不是...
【第一消息】“新大圣炸金花.是... 【第一消息】“新大圣炸金花.是不是有挂?”外卦神器下载您好,新大圣炸金花这个游戏其实有挂的,确实是有...
终于了解“闲来玩游戏.可以开挂... 有 亲,根据资深记者爆料闲来玩游戏是可以开挂的,确实有挂(咨询软件无需打...
【第一消息】“新世界拼三张.是... 家人们!今天小编来为大家解答新世界拼三张透视挂怎么安装这个问题咨询软件客服徽9784099的挂在哪里...
今日重大通报“传送屋.有没有挂... 您好:传送屋这款游戏可以开挂,确实是有挂的,需要了解加客服微信【9752949】很多玩家在这款游戏中...
终于了解“福建麻将.开挂神器?... 有 亲,根据资深记者爆料福建麻将是可以开挂的,确实有挂(咨询软件无需打开...
终于懂了“玄龙二厅.辅助开挂神... 有 亲,根据资深记者爆料玄龙二厅是可以开挂的,确实有挂(咨询软件无需打开...
国家文物局工作组已赴南京开展工... 国家文物局对近日媒体报道的“南京博物院《江南春》图卷现身拍卖市场”等相关情况高度重视,已成立工作组并...
nova15系列及全场景新品发... 2025年12月22日,nova15系列及全场景新品发布会正式举行,带来nova15系列、华为Mat...