分析几种Hadoop集群部署方式优劣
admin
2023-03-19 04:02:12
0

hadoop初学者来说,或者说正在使用hadoop的开发者来说,hadoop环境的搭建不是一件省心的事,甚至很多博客上都重要的事说三便“不要花精力在搭建环境之上”,可见很多人在搭建环境时会遇到很多问题,并且会花费很多时间,本文将把所有的“玩法”都过一下,相信看完之后,你心里就有数了,将会依据自己的需求来选择合适的搭建方式。

 

部署方式  

优势

不足

适合场合

Apache Hadoop

单机

        单台机器即可

        简单

        所需组件少

        一般不用于生产

        HA

        无法体现分布式

        初学

        开发测试

        小规模试用

Apache Hadoop

集群

        灵活的版本选择

        自主可控性较好

        应用场景广泛

        需专业人员管理

        组件间兼容性差

        配置、运维复杂

        学习

        开发测试

        生产环境

CDH

HDP

        Web管理和监控

        开源厂商支持

        兼容性和稳定高

        仍需大量配置

        受制于厂商

        更新版本稍慢

        开发测试

        生产环境

其它厂商类CDH

        有自己扩展特性

        厂商支持

        非免费

        严重受制于厂商

        生产环境

编写shell部署运维脚本

        自控性好

        配置简单

        灵活性好

        需编写脚本

        测试费时

        需不断完善

        学习

        开发测试

        生产环境

 

通过上面的对比,总结如下:

  • 初学hadoop,希望快速开始,采用第一种apache单机,无基础的情况下1个小即可完成,有linux基础除掉安装虚拟机、linux的时间,10分钟可完成;

  • 用于生产环境或测试环境,采用第三种cdh方式,管理集群都是图形化,但是缺少了对内部深层次的了解;

  • 对于深入学习者,已经有一定经验和积累了,可以选最后一种,不断可以深入的了解内部各进程依赖关系,还可以提升shell脚本文件编程水平。

 

关于每一种环境的详细搭建方式,将会分几个章节在后面分别介绍,另外如果可能也会录制一些免费视频,详细的讲解一下操作步骤。


相关内容

热门资讯

重达11000克拉!缅甸发现“... 【环球网报道】美国哥伦比亚广播公司、英国天空新闻网等媒体援引缅甸官方媒体8日消息报道称,缅甸发现一块...
玻璃缝隙漏水怎么处理 1、检查窗户玻璃附近墙体的防水层,重新做防水层。2、查找原先的密封物,检查门窗与墙体的密封度,如果密...
热水器侧面的缝隙漏水可以修好吗 问题:热水器侧面的缝隙漏水可以修好吗回答:如果热水器侧面出现缝隙漏水的情况基本上都是可以修好的。首先...
洗面盆和台面缝隙漏水怎么办 洗菜盆漏水的修补方法1、如果是洗菜盆和台面衔接松动:如果是因为洗菜盆安装时没安装好,与台面缝隙过大,...
空调缝隙漏水怎么办 空调在一定的年限服务后,会出现一些问题,例如漏水。空调漏水是比较常见的问题,但有许多原因可能导致空调...
不用电的情况下空气开关跳闸是怎... 家用空气断路器跳闸的原因很好判断,如果漏电断路器脱扣后复位按钮突出,则可以断定电路有漏电,需要注意的...
宏福苑母亲节晚宴,女儿希望火中... 凤凰卫视记者在香港报道:有慈善机构为大埔宏福苑居民举办母亲节晚宴,参加的居民表示,经历大火后更深刻体...
顺风车乘客拒付高速费,00后车... 近日,江苏苏州一00后车主接了一单顺风车,车主称下单时乘客已经点击确定承担全部高速费,可下高速时乘客...
圣罗兰“拉黑”杭州一条街道?记... 澎湃新闻记者 王选辉 实习生 俞涵因“恶意退货太多整条街道被商家拉黑”一事持续发酵,近日有网友反映,...
局地可达35℃以上!今年首轮高... 热起来了!今天(10日)起至13日,北方迎来今年首场大范围高温天气,大部地区气温将超30℃,刷新今年...