如何安装配置hadoop
admin
2023-03-03 17:02:19
0

一.配置java home

由于我的java系统是已经安装完毕,而且是1.8版本满足hadoop要求,只要将java home 指向安装的目录即可
先要取得java的安装目录
如何安装配置hadoop
先取得java命令路径,命令路径头就是java的安装目录
如何安装配置hadoop
ll了两次都是软链接,最后在/usr/lib...下找到了java的目录,目录我们只要复制到jre即可,多了少了都报错。
vim /etc/profile  #配置java home

#------------------------
#  properties jdk
#------------------------
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar:${JRE_HOME}/lib
export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin

二.下载hadoop ,配置hadoop home

http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
#下载地址
mkdir /hadoop/
#创建hadoop 文件夹,将上面的文件下载到该文件夹,并解压
ln -s hadoop-3.1.2 hadoop.soft
#创建个软连接文件
如何安装配置hadoop
vim /etc/profile #配置 hadoop home

#---------------------------
#  property  hadoop
#------------------------
export HADOOP_HOME=/hadoop/hadoop.soft
export PATH=${PATH}:${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin

source /etc/profile
#重载下配置文件
hadoop version
#执行hadoop 验证命令,如果出现以下字符说明安装成功了
如何安装配置hadoop

三.配置

cd /hadoop/hadoop.soft/etc/hadoop  #进入配置文件文件夹
需要修改的以下文件

slaves

hadoop-env.sh

yarn-en.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

1.修改slaves
vim slaves

Slave1
Slave2
#两个子节点

2.修改hadoop-env.sh,JAVA_HOME=$JAVA_HOME这一行,把它注释掉,另外增加一行,添加内容。
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre
#添加java home的路径
3.修改yarn-env.sh,JAVA_HOME=$JAVA_HOME这一行,把它注释掉,另外增加一行,添加内容。
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre
4.修改core-site.xml,在 之间添加内容。


        hadoop.tmp.dir
        /hadoop/tmp
        Abase for other temporary directories.
   
   
        fs.default.name
        hdfs://Master:9000
                #这里填主机的host
   

5.修改hdfs-site.xml,同样在之间添加内容。


                dfs.namenode.secondary.http-address
               Master:9001
       
     
             dfs.namenode.name.dir
             file:/hadoop/dfs/name
       
      
              dfs.datanode.data.dir
              file:/hadoop/dfs/date
       
       
               dfs.replication
               3
        
        
                 dfs.webhdfs.enabled
                  true
         

6.修改mapred-site.xml文件,配置文件中没有这个文件,首先需要将mapred-site.xml.tmporary文件改名为mapred-site.xml


        mapreduce.framework.name
        yarn
    
    
        mapreduce.jobhistory.address
        Master:10020
    
    
        mapreduce.jobhistory.webapp.address
        Master:19888
    

7.修改yarn-site.xml

   
               yarn.nodemanager.aux-services
               mapreduce_shuffle
        
        
        yarn.resourcemanager.hostname
        Master
    

在把需要的文件夹创建下
cd /hadoop
mkdir -pv tmp
mkdir -pv dfs/{name,date}

在把整个文件夹传送给两个子节点,保证所有节点的文件文件路径都一样,java 和hadoop 的home也配置成一样,主节点怎么配子节点一样配

scp -r /hadoop Slave1:/ #将整个hadoop文件夹复制一份给节点1  
scp -r /hadoop Slave2:/
四,格式化节点,启动hadoop
hdfs namenode -format  #格式化节点
这一步,在配置完所有文件后,开启hdfs,star-dfs.sh之前。只使用一次,之后每次开启hadoop都不需要,格式化名称节点,如果没有格式化名称节点,就启动hadoop,start-dfs.sh,后面会出问题。
解决方法:
关闭hdfs,把tmp,logs文件删除,重新格式化namenode
stop-all.sh #关闭所有节点
rm -rf tmp
rm -rf logs
hdfs namenode -format
启动节点
su hadoop #切换到hadoop账号
start-all.sh #启动所有有节点
netstat -nltp #查看监听端口如何安装配置hadoop
访问9870端口
如何安装配置hadoop
我这有两个节点在线,另一个我关闭测试的,如果花红圈的地方只有一个主节点的话
可以登录到子节点 运行以下命令,在子节点上启动
su hadoop
hadoop-daemon.sh start datanode #启动本机节点

四,一下简单命令

hadoop fs -mkdir /666          新建文件夹
hdfs dfs -put test.txt /666     上传文件
hadoop fs -ls /                      查看根目录
hadoop fs -rmr /666             删除666目录
如何安装配置hadoop
上传一张图片
如何安装配置hadoop
到浏览器上看看
如何安装配置hadoop
下载下来看看

相关内容

热门资讯

原创 国... 这个月的新机数量是真少,我粗略估算了一下,还不到往年同期发布手机数量的一半,至于背后的原因阿维之前也...
农业农村“半年报”发布,这些看... 7月24日召开的国新办发布会上,农业农村部介绍2026年上半年农业农村经济运行情况。夏粮喜获丰收、常...
世界遗产+1!景德镇打卡地图,... 北京时间7月25日,在韩国釜山举行的第48届世界遗产大会上,由我国申报的“景德镇手工瓷业遗存”项目经...
有人呼吁白宫“封杀”中国开源大... 未来一段时间,将有多款中国开源模型发布。Kimi K3定于7月27日正式开源,阿里即将开源2.4万亿...
20名“高考状元”选择学医!此... 2026年香港高考的24名“状元”中,有20人明确表示将留港攻读医科。多年来,香港最顶尖的“学霸们”...
“抢人大战”,风向有变? 各地一场“抢老人”的大战,已然徐徐拉开大幕。最近,有着人口净流出压力的吉林,计划拿出3亿元发展旅居康...
石家庄一家不限量的爱心素食面馆... 7月24日正午时分,记者来到位于石家庄市新华区东明家居西二环店北门旁的“素面”小店,不大的店面里坐满...
中材科技申请风电叶片外补强辅助... 国家知识产权局信息显示,中材科技(伊吾)风电叶片有限公司申请一项名为“风电叶片外补强辅助固化装置”的...
为人工智能治理提供重要公共产品 图为2026世界人工智能大会暨人工智能全球治理高级别会议举办期间,在世博展览馆灵心巧手展位,参观者观...