CDH hadoop 部署
admin
2023-03-01 13:41:55
0

1. 所有免密钥登陆(all节点)(centos6 操作系统)

node01 2C  6G
node02 2C  2G
node03 2C  2G
2.node01 安装数据库 mysql5.5(node01节点)
https://blog.csdn.net/u012402177/article/details/82870433
root/123456
3.下载基础的软件(all 节点)
yum  -y  install  chkconfig python bind-utils psmisc libxslt  zlib sqlite cyrus-sasl-plain  cyrus-sasl-gssapi fuse  fuse-libs  redhat-lsb
/etc/init.d/ntpd  start  
解决agent启动会有问题:
/opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/build/env/bin/python: error while loading shared libraries: libpython2.6.so.1.0: cannot open shared object file: No such file or directory
wget  http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz
tar -xzvf Python-2.6.6.tgz
cd  Python-2.6.6
./configure --prefix=/foo/python26 --enable-shared
make
make altinstall
sudo ln -s /foo/python26/lib/libpython2.6.so.1.0  /usr/lib/libpython2.6.so.1.0
4.clouderamanager安装(server 和 agent节点都需要  all)
 mkdir /opt/cloudera-manager
 tar xvzf cloudera-manager*.tar.gz  -C /opt/cloudera-manager
5.添加用户所有节点
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
6.修该所有agent节点的server的地址
/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host
7.创建目录
Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
8.server节点制作源(文件放在如下路径)
cd  /opt/cloudera/parcel-repo
[root@node01 parcel-repo]# 11
-rw-r--r-- 1 root root 1272629458 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel
-rw-r--r-- 1 root root         41 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel.sha
-rw-r--r-- 1 root root      42625 Oct 30 13:32 manifest.json
9.配置CM数据库  以及数据库连接驱动
mkdir -p   /usr/share/java/
cd /usr/share/java/
cp -a  /root/install/mysql-connector-java-5.1.26-bin.jar   ./
mv  mysql-connector-java-5.1.26-bin.jar  mysql-connector-java.jar
创建库(server端执行)
删除mysql.user 里面所有多余的用户 只剩一个管理员
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush  privileges;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
10.启动服务
server端 node01
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
agent  node01  node02  node03
 /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent  restart

2.

CDH  hadoop 部署

3.

CDH  hadoop 部署

4.

CDH  hadoop 部署

5.

CDH  hadoop 部署

6.

CDH  hadoop 部署

7.

CDH  hadoop 部署

8.

CDH  hadoop 部署

9.

CDH  hadoop 部署

10.

CDH  hadoop 部署

11.

CDH  hadoop 部署

12.

CDH  hadoop 部署

13.

CDH  hadoop 部署

14.

CDH  hadoop 部署

15.

CDH  hadoop 部署

16.

CDH  hadoop 部署

17.

CDH  hadoop 部署

18.

CDH  hadoop 部署

19.

CDH  hadoop 部署

20.

CDH  hadoop 部署

21.

CDH  hadoop 部署

22.

CDH  hadoop 部署

23.

CDH  hadoop 部署

24.

CDH  hadoop 部署


相关内容

热门资讯

学习机直播乱象调查:主播打北大... 极目新闻记者 刘闪 何佳仪打开短视频平台,各类学习机测评直播间随处可见。一些自诩自己是“老师”的主播...
即日起,郑州“错峰加油”有优惠... 进入5月,又到了郑州臭氧污染频发的季节,记者从郑州市生态环境局移动源污染监管处了解到,为减少臭氧污染...
汗水写热爱 篮球致青春 成人组1VS1比赛。河南日报全媒体记者 黄晖 摄“非常高兴能够参加这种全民赛事,也希望以后能够有更多...
荷兰六六民主党全国办公室遭爆炸... 荷兰警方7日说,荷兰执政党之一的六六民主党位于海牙的全国办公室当晚遭爆炸物袭击,造成建筑受损,无人受...
樱花树油烟机总是开不了怎么回事 电源问题。先检查电源是否未插上或是否电,若没有,将它重新插好,等待来电后测试,检查开不了机的问题是否...
燃气灶打火后一会就灭是什么原因 原因可能是电池没有电了,所以一开始能够打着火,但是燃烧了一会儿又熄灭了,这种情况下可以尝试更换一节新...
灶盘有气儿,就是高压不打火 这种情况是点火器出了问题,如果点火器无法产生火花,那炉灶盘自然也就不能产生火,通常来说,如果灶台的开...
迅达热水器水流小怎么办 当你发现迅达热水器水流小时,可能会感到烦恼。然而,这个问题通常是很容易解决的。以下是一些可能导致水流...
迅达燃气灶打不着火 1、打火时看一下会不会有火花出来,如果没有火花就是电池没有电导致的打不着火。2、也有可能是迅达燃气灶...