hbase配置与安装
admin
2023-02-08 09:20:04
0

 

 

HBase配置安装

 

hbase0.98.5使用hadoop2.2.0安装在rhel6.2系统。

 

下载 hbase-0.98.5-hadoop2-bin.tar.gz并上传到服务器中

使用命令进行解压

[root@master soft]# tar -zxvfhbase-0.98.5-hadoop2-bin.tar.gz

 

对解压后的目录cp到指定目录,目前使用的是hdtest用户home目录下

[root@master soft]# cp hbase-0.98.5-hadoop2/home/hdtest/hbase2/

hbase2 目录进行修改所属组及用户

chown hdtest.hdtest hbase2/ -R

 

修改 conf目录下的 3 个配置文件:

1. hbase-env.sh

hadoop-env.sh,该文件设定了 hbase 的环境,修改的部分如下:

export JAVA_HOME=/usr/java/jdk1.7.0_67export

export HBASE_CLASSPATH=/home/hdtest/hadoop-2.2.0/etc/hadoop/

export HBASE_HEAPSIZE=1000

exportHBASE_MANAGES_ZK=false

其中,HBASE_CLASSPATH指向存放有 Hadoop 配置文件的目录,这样 HBase 可以找到 HDFS的配置信息,由于本文 Hadoop HBase 部署在相同的物理节点,所以就指向了 Hadoop 安装路径下的目录。HBASE_HEAPSIZE 单位为 MB,可以根据需要和实际剩余内存设置,默认为 1000HBASE_MANAGES_ZK=false指示 HBase 使用已有的 Zookeeper 而不是自带的。

 

2. hbase-site.xml

该文件是 hbase 最主要的配置文件,配置如下:

hbase.rootdir

hdfs://master:9000/hbase

hbase.cluster.distributed

true

hbase.tmp.dir

/home/hdtest/hbase2

第一项指定了 hbase 所使用的文件系统为 HDFS,根目录为 hdfs://master:9000/hbase,该目录应该由 HBase 自动创建,只需要指定到正确的 HDFS NameNode 上即可。第二项指定 HBase的工作模式为分布式的,第三项指定 HBase 将元数据存放路径为/home/hdtest/hbase2,需要在 node0(Master)上创建该目录。

 

3. regionservers

此文件指定了HBaseRegionServers,相当于hadoop配置文件中的slaves。本文将slave1/2作为 RegionServer,所以文件内容为:

192.168.200.3

192.168.200.4

HBase 配置完成,将其分发到所有的 Master RegionServer 节点上的相同目录下,如

/home/hdtest/hbase2,并把刚才的 zoo.cfg 拷贝到每个节点的 HBASE_CLASSPATH (/home/hdtest/hadoop-2.2.0/etc/hadoop/),使得 HBase 可以找到 Zookeeper 的配置。

 

首先在NameNode(node0)上将 HDFS启动:

$ ~/hadoop-1.0.2/bin/start-dfs.sh

然后在 Zookeeperensemble的每一个节点(node1/2/3)上分别启动 Zookeeper:

$ ~/zookeeper-3.4.3/bin/zkServer.sh start

Master(node0)上启动 HBase

$ ~/hbase-0.94.0/bin/start-hbase.sh

用浏览器访问:

http://node0:60010

可以看到 HBase 的运行信息,如果 Attributes  ->Load average 中有数字,Tables 中有-ROOT-

.META.两张表,并且 Region Server 中的信息也都正常,则 HBase 正常启动了。

关闭的顺序和启动的顺序相反,先关闭 HBase

$ ~/hbase-0.94.0/bin/stop-hbase.sh

然后关闭 Zookeeper HDFS

 

 

问题解决:

1,时间同步问题导致其他RegionServers启动报错

 

2014-10-16 13:01:11,956 FATAL[regionserver60020] regionserver.HRegionServer: Master rejected startup becauseclock is out of sync

org.apache.hadoop.hbase.ClockOutOfSyncException:org.apache.hadoop.hbase.ClockOutOfSyncException: Serverslave2,60020,1413435669437 has been rejected; Reported time is too far out ofsync with master.  Time difference of 400025ms > max allowed of 30000ms

at org.apache.hadoop.hbase.master.ServerManager.checkClockSkew(ServerManager.java:344)

       atorg.apache.hadoop.hbase.master.ServerManager.regionServerStartup(ServerManager.java:237)

       atorg.apache.hadoop.hbase.master.HMaster.regionServerStartup(HMaster.java:1286)

       atorg.apache.hadoop.hbase.protobuf.generated.RegionServerStatusProtos$RegionServerStatusSe

 

从报错信息上看出时间不同步导致。

 

解决办法:

需要在集群中配置一个ntp服务器(配置方法网络上多得是),然后在master节点使用stop-hbase.sh停止所有hbase服务,查看ntp服务是否生效,即master节点和regionserver节点时间是否一致后,再次启动hbase服务。

 

master服务器使用jps查看hbase进程

[hdtest@master ~]$ jps

6930 HMaster

9638 Jps

14932 JournalNode

4120 QuorumPeerMain

15013 NameNode

15345 ResourceManager

Hamster服务是hbase服务。

JournalnodenamenodeHA时配置的服务。

Quorumpeermainzookeeper启动的服务。

Namenoderesourcemanagerhdfs启动服务

 

slave1节点上查看hbase服务

[hdtest@slave1 ~]$ jps

21281 QuorumPeerMain

26528 Jps

11762 JournalNode

11854 NameNode

23557 HRegionServer

 

 


相关内容

热门资讯

德国总理:美国正在被伊朗羞辱 德国之声4月27日报道,德国总理默茨在访问一所学校时表示,在当前的持续冲突中,伊朗领导层正试图羞辱美...
理响中国|“长”歌以行,风云激... 光阴如梭,东方潮阔。这里是中国的长三角,世界的长三角。无论过去、现在还是未来,这片土地都因时代而生,...
白宫:特朗普及其国安团队开会讨... 新华社华盛顿4月27日电 美国白宫新闻秘书莱维特27日在记者会上证实,总统特朗普及其国家安全团队当天...
人民日报刊文:日本放开杀伤性武... 日本放开杀伤性武器出口推高地缘冲突风险(国际论坛)常思纯《人民日报》(2026年04月28日 第 0...
医疗保障法草案二审:明确生育保... 满足多样化健康保障需求本报记者 彭 波4月27日,医疗保障法草案二审稿提请十四届全国人大常委会第二十...
天津一景区发生自转旋翼机事故1... 澎湃新闻记者 吕新文中国民用航空华北地区管理局4月22日公布《豪客通航“10•1”天津长芦汉盐旅游区...
卡塔尔埃米尔与美国总统特朗普通... 当地时间24日,卡塔尔埃米尔塔米姆与美国总统特朗普通电话,重点就中东地区局势以及伊朗与美国谈判问题交...
男子30年前被扣押2859克黄... 澎湃新闻记者 王鑫家住辽宁省大连市的潘永嘉近日向澎湃新闻反映称,三十年前,他在大连周水子机场被盖州市...
商务部:取消反制欧盟两家金融机... 中华人民共和国商务部令二〇二六年 第1号鉴于欧盟已取消对中国两家金融机构的制裁措施,现公布《关于取消...
过去24小时共有5艘船只通过霍... 总台记者当地时间24日获悉,过去24小时内,共有5艘船只通过霍尔木兹海峡,其中包括一艘伊朗油轮。(总...