安装sqoop1.4.6-cdh5.5.2
admin
2023-03-16 17:21:10
0

运行环境,hadoop2.6.0-cdh5.5.2

所以,下载的sqoop1.4.6也是5.5.2的版本,与之相对。


文件安装在了/usr/local/中

[root@fa01 hadoop]# tar -zxvf /home/hadoop/sqoop-1.4.6-cdh6.5.2.tar.gz -C /usr/local/

[root@fa01 hadoop]# mv ./sqoop-1.4.6-cdh6.5.2 ./sqoop-1.4.6

[root@fa01 hadoop]# chown -R hadoop:hadoop ./sqoop-1.4.6


下载JDBC,放到sqoop-1.4.6/lib目录下

[hadoop@fa01 lib]$ mv mysql-connector-java-5.1.43-bin.jar /usr/local/sqoop-1.4.6/lib


修改配置文件,拷贝一份

[hadoop@fa01 conf]$ cp sqoop-env-template.sh sqoop-env.sh

[hadoop@fa01 conf]$ vi sqoop-env.sh

#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.6.0-cdh6.5.2

#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.6.0-cdh6.5.2


配置环境变量,添加

[hadoop@fa01 bin]$ vi /home/hadoop/.bash_profile

export SQOOP_HOME=/usr/local/sqoop-1.4.6


出现警告:

[hadoop@fa01 bin]$ ./sqoop

Warning: /home/hadoop/sqoopsqoop-1.99.7/../hbase does not exist! HBase imports will fail.

Please set $HBASE_HOME to the root of your HBase installation.

Warning: /home/hadoop/sqoopsqoop-1.99.7/../hcatalog does not exist! HCatalog jobs will fail.

Please set $HCAT_HOME to the root of your HCatalog installation.

Warning: /home/hadoop/sqoopsqoop-1.99.7/../accumulo does not exist! Accumulo imports will fail.

Please set $ACCUMULO_HOME to the root of your Accumulo installation.

Warning: /home/hadoop/sqoopsqoop-1.99.7/../zookeeper does not exist! Accumulo imports will fail.

Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.

Error: Could not find or load main class org.apache.sqoop.Sqoop

解决方式:

[hadoop@fa01 bin]$ vi configure-sqoop

把上面的四个内容都给#注释掉了,就只剩下最后的报错了。

第一步,拷贝jar包

[hadoop@fa01 sqoop-1.4.6]$ cp sqoop-1.4.6-cdh6.5.2.jar ./lib/

会依旧报错。

第二步,修改启动的配置文件

[hadoop@fa01 bin]$ cd /usr/local/sqoop-1.4.6/bin

先给sqoop做个备份。

[hadoop@fa01 bin]$ cp sqoop sqoop.bak

修改

[hadoop@fa01 bin]$ vi sqoop

添加了一段的内容

exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-1.4.6-cdh6.5.2.jar org.apache.sqoop.Sqoop "$@"

我到这里已经好用。

如果还报错,就把$SQOOP_HOME/下的sqoop-1.4.6-cdh6.5.2.jar放到$SQOOP_HOME/lib目录下。

连接测试:

[hadoop@fa01 bin]$ ./sqoop list-tables --connect jdbc:mysql://192.111.111.111:3306/dasename --username mysqlname --password mysqlmima


相关内容

热门资讯

中锂电取得锂电池安全保护装置专... 国家知识产权局信息显示,浙江中锂电科技有限公司取得一项名为“一种锂电池安全保护装置”的专利,授权公告...
奥特曼“官宣” OpenAI ... 文 | AI唱反调 今早,奥特曼发布了一条 X,几乎坐实了近半个月来的传闻。 X正文只有三个词:“...
普京:收到泽连斯基希望会晤的口... 俄罗斯总统普京当地时间5月9日晚召开记者会,回答相关提问。普京表示,此次红场阅兵未展示军事装备,并不...
将论文“写”在秦岭云端 5月7日,团队成员正在进行激光光谱分光测试实验。 “我们在太白山主峰架起自主研制的激光雷达,可以实时...
成都人工智能产业实力领跑西部,... 近日,工业和信息化部发布2025年先进计算赋能新质生产力典型应用案例名单,成都3家人工智能领域企业 ...
铭凡发布「智能体NAS」:第三... 如果说过去几年,NAS市场的关键词还是“私有云”“家庭存储”和“影音库”,那么现在的情况已经悄然发生...
药王更替GIP靶点锋芒毕露 博... 来源:滚动播报 (来源:北京商报) 过去两年,减重药赛道极速完成了路径更迭。以礼来替尔泊肽为代表的G...
无凸轮十二轴弹簧机选型指南:东... 导语:在弹簧制造领域,无凸轮十二轴弹簧机凭借高精度、高效率、高灵活性的优势,成为新能源、航天航空、精...
AI 隐藏“思维链”,是怕被人... OpenAI 这些年最不缺的,就是被放大的人。 Sam Altman 当然不用说,几乎已经成了这家公...
美媒:以色列在伊拉克沙漠秘密建... 据《华尔街日报》5月9日报道,知情人士透露,以色列在伊拉克沙漠地带建立了一个秘密军事据点,以支持其针...