CDH hadoop 部署
admin
2023-03-01 13:41:55
0

1. 所有免密钥登陆(all节点)(centos6 操作系统)

node01 2C  6G
node02 2C  2G
node03 2C  2G
2.node01 安装数据库 mysql5.5(node01节点)
https://blog.csdn.net/u012402177/article/details/82870433
root/123456
3.下载基础的软件(all 节点)
yum  -y  install  chkconfig python bind-utils psmisc libxslt  zlib sqlite cyrus-sasl-plain  cyrus-sasl-gssapi fuse  fuse-libs  redhat-lsb
/etc/init.d/ntpd  start  
解决agent启动会有问题:
/opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/build/env/bin/python: error while loading shared libraries: libpython2.6.so.1.0: cannot open shared object file: No such file or directory
wget  http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz
tar -xzvf Python-2.6.6.tgz
cd  Python-2.6.6
./configure --prefix=/foo/python26 --enable-shared
make
make altinstall
sudo ln -s /foo/python26/lib/libpython2.6.so.1.0  /usr/lib/libpython2.6.so.1.0
4.clouderamanager安装(server 和 agent节点都需要  all)
 mkdir /opt/cloudera-manager
 tar xvzf cloudera-manager*.tar.gz  -C /opt/cloudera-manager
5.添加用户所有节点
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
6.修该所有agent节点的server的地址
/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host
7.创建目录
Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
8.server节点制作源(文件放在如下路径)
cd  /opt/cloudera/parcel-repo
[root@node01 parcel-repo]# 11
-rw-r--r-- 1 root root 1272629458 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel
-rw-r--r-- 1 root root         41 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel.sha
-rw-r--r-- 1 root root      42625 Oct 30 13:32 manifest.json
9.配置CM数据库  以及数据库连接驱动
mkdir -p   /usr/share/java/
cd /usr/share/java/
cp -a  /root/install/mysql-connector-java-5.1.26-bin.jar   ./
mv  mysql-connector-java-5.1.26-bin.jar  mysql-connector-java.jar
创建库(server端执行)
删除mysql.user 里面所有多余的用户 只剩一个管理员
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush  privileges;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
10.启动服务
server端 node01
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
agent  node01  node02  node03
 /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent  restart

2.

CDH  hadoop 部署

3.

CDH  hadoop 部署

4.

CDH  hadoop 部署

5.

CDH  hadoop 部署

6.

CDH  hadoop 部署

7.

CDH  hadoop 部署

8.

CDH  hadoop 部署

9.

CDH  hadoop 部署

10.

CDH  hadoop 部署

11.

CDH  hadoop 部署

12.

CDH  hadoop 部署

13.

CDH  hadoop 部署

14.

CDH  hadoop 部署

15.

CDH  hadoop 部署

16.

CDH  hadoop 部署

17.

CDH  hadoop 部署

18.

CDH  hadoop 部署

19.

CDH  hadoop 部署

20.

CDH  hadoop 部署

21.

CDH  hadoop 部署

22.

CDH  hadoop 部署

23.

CDH  hadoop 部署

24.

CDH  hadoop 部署


相关内容

热门资讯

【第一消息】“山西扣点.究竟有... 您好:山西扣点这款游戏可以开挂,确实是有挂的,需要了解加客服微信【9784099】很多玩家在这款游戏...
我来教教您“喜扣打筒子.到底有... 家人们!今天小编来为大家解答喜扣打筒子透视挂怎么安装这个问题咨询软件客服徽4282891的挂在哪里买...
【第一资讯】“天天快来麻将.怎... 家人们!今天小编来为大家解答天天快来麻将透视挂怎么安装这个问题咨询软件客服徽4282891的挂在哪里...
今日重大通报“笑傲江湖.怎么装... 网上科普关于“笑傲江湖有没有挂”话题很是火热,小编也是针对笑傲江湖作*弊开挂的方法以及开挂对应的知识...
【第一财经】“随意玩拼三张.辅... 网上科普关于“随意玩拼三张有没有挂”话题很是火热,小编也是针对随意玩拼三张作*弊开挂的方法以及开挂对...
最新引进“小猪对对碰.有挂吗?... 网上科普关于“小猪对对碰有没有挂”话题很是火热,小编也是针对小猪对对碰作*弊开挂的方法以及开挂对应的...
终于了解“大富豪.究竟有挂吗?... 终于了解“大富豪.究竟有挂吗?”其实是有挂您好,大富豪这个游戏其实有挂的,确实是有挂的,需要了解加客...
终于懂了“灯塔麻将.真的有挂吗... 您好:灯塔麻将这款游戏可以开挂,确实是有挂的,需要了解加客服微信【9784099】很多玩家在这款游戏...
我来教教您“兴动茶馆.到底有挂... 家人们!今天小编来为大家解答兴动茶馆透视挂怎么安装这个问题咨询软件客服徽4282891的挂在哪里买很...
终于明白“乐酷炸金花.开挂器?... 网上科普关于“乐酷炸金花有没有挂”话题很是火热,小编也是针对乐酷炸金花作*弊开挂的方法以及开挂对应的...