CDH hadoop 部署
admin
2023-03-01 13:41:55
0

1. 所有免密钥登陆(all节点)(centos6 操作系统)

node01 2C  6G
node02 2C  2G
node03 2C  2G
2.node01 安装数据库 mysql5.5(node01节点)
https://blog.csdn.net/u012402177/article/details/82870433
root/123456
3.下载基础的软件(all 节点)
yum  -y  install  chkconfig python bind-utils psmisc libxslt  zlib sqlite cyrus-sasl-plain  cyrus-sasl-gssapi fuse  fuse-libs  redhat-lsb
/etc/init.d/ntpd  start  
解决agent启动会有问题:
/opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/build/env/bin/python: error while loading shared libraries: libpython2.6.so.1.0: cannot open shared object file: No such file or directory
wget  http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz
tar -xzvf Python-2.6.6.tgz
cd  Python-2.6.6
./configure --prefix=/foo/python26 --enable-shared
make
make altinstall
sudo ln -s /foo/python26/lib/libpython2.6.so.1.0  /usr/lib/libpython2.6.so.1.0
4.clouderamanager安装(server 和 agent节点都需要  all)
 mkdir /opt/cloudera-manager
 tar xvzf cloudera-manager*.tar.gz  -C /opt/cloudera-manager
5.添加用户所有节点
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
6.修该所有agent节点的server的地址
/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host
7.创建目录
Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
8.server节点制作源(文件放在如下路径)
cd  /opt/cloudera/parcel-repo
[root@node01 parcel-repo]# 11
-rw-r--r-- 1 root root 1272629458 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel
-rw-r--r-- 1 root root         41 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel.sha
-rw-r--r-- 1 root root      42625 Oct 30 13:32 manifest.json
9.配置CM数据库  以及数据库连接驱动
mkdir -p   /usr/share/java/
cd /usr/share/java/
cp -a  /root/install/mysql-connector-java-5.1.26-bin.jar   ./
mv  mysql-connector-java-5.1.26-bin.jar  mysql-connector-java.jar
创建库(server端执行)
删除mysql.user 里面所有多余的用户 只剩一个管理员
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush  privileges;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
10.启动服务
server端 node01
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
agent  node01  node02  node03
 /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent  restart

2.

CDH  hadoop 部署

3.

CDH  hadoop 部署

4.

CDH  hadoop 部署

5.

CDH  hadoop 部署

6.

CDH  hadoop 部署

7.

CDH  hadoop 部署

8.

CDH  hadoop 部署

9.

CDH  hadoop 部署

10.

CDH  hadoop 部署

11.

CDH  hadoop 部署

12.

CDH  hadoop 部署

13.

CDH  hadoop 部署

14.

CDH  hadoop 部署

15.

CDH  hadoop 部署

16.

CDH  hadoop 部署

17.

CDH  hadoop 部署

18.

CDH  hadoop 部署

19.

CDH  hadoop 部署

20.

CDH  hadoop 部署

21.

CDH  hadoop 部署

22.

CDH  hadoop 部署

23.

CDH  hadoop 部署

24.

CDH  hadoop 部署


相关内容

热门资讯

中材科技申请风电叶片外补强辅助... 国家知识产权局信息显示,中材科技(伊吾)风电叶片有限公司申请一项名为“风电叶片外补强辅助固化装置”的...
为人工智能治理提供重要公共产品 图为2026世界人工智能大会暨人工智能全球治理高级别会议举办期间,在世博展览馆灵心巧手展位,参观者观...
泽连斯基称俄对乌多地发动大规模... 当地时间25日,乌克兰总统泽连斯基通报称,俄军于当日凌晨对乌克兰多地发动大规模空袭,使用2枚导弹、近...
不怕没水!武汉科学家找到水稻身... 干旱来了,水稻启动"抗旱模式",可一启动就长不大、结得少——这是困扰育种界几十年的老难题。7月23日...
多款手机涨价超1000元,大存... 今年暑期消费旺季,国内智能手机市场迎来一轮显著的价格上调。第一财经记者走访深圳多家品牌门店发现,以v...
SpaceX上市后星舰首飞:首... 界面新闻实习记者 | 李响 在经历多次波折后,SpaceX公司的星舰(Starship)终于完成了...
博世洗衣机强制解锁 博世洗衣机强制解锁的方法可能因型号和具体情况而异。以下是一些常见的方法:1. 按住电源键:有些博世洗...
美的电热水器不能出水了该怎么处... 美的电热水器不能出水了该怎么处理?1、管路堵塞,管路因水垢、杂物或冻堵等原因堵塞,热水自然就不能出水...
2026世界杯:AI改变了足球... 文 | 硅谷101 历时39天,美加墨世界杯终于落下了帷幕,西班牙最终夺得冠军,时隔16年再次捧起...
博世洗衣机不能启动 博世洗衣机不能启动可能有多种原因,以下是一些常见的解决方法:1. 检查电源:确保洗衣机已正确连接到电...