Sqoop 1.4.6 安装
admin
2023-05-01 02:22:33
0

下载安装包

http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz  

  

我装在hadoop 用户下面

hadoop目录是  /home/hadoop/hadoop

hive 目录是   /home/hadoop/hive

sqoop 目录是  /home/hadoop/sqoop


当前目录是 /home/hadoop

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz  

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop


在 /etc/profile 增加 sqoop 环境变量

export SQOOP_HOME=/home/hadoop/sqoop

export PATH=$PATH:$SQOOP_HOME/bin


 创建sqoop-env.conf文件

export HADOOP_COMMON_HOME=/home/hadoop/hadoop 

export HADOOP_MAPRED_HOME=/home/hadoop/hadoop

export  HIVE_HOME=/home/hadoop/hive

Sqoop 1.4.6 安装

修改$SQOOP_HOME/bin/configure-sqoop

#if [ -z "${HCAT_HOME}" ]; then

#  if [ -d "/usr/lib/hive-hcatalog" ]; then

#    HCAT_HOME=/usr/lib/hive-hcatalog

#  elif [ -d "/usr/lib/hcatalog" ]; then

#    HCAT_HOME=/usr/lib/hcatalog

#  else

#    HCAT_HOME=${SQOOP_HOME}/../hive-hcatalog

#    if [ ! -d ${HCAT_HOME} ]; then

#       HCAT_HOME=${SQOOP_HOME}/../hcatalog

#    fi

#  fi

#fi


#if [ -z "${ACCUMULO_HOME}" ]; then

#  if [ -d "/usr/lib/accumulo" ]; then

#    ACCUMULO_HOME=/usr/lib/accumulo

#  else

#    ACCUMULO_HOME=${SQOOP_HOME}/../accumulo

#  fi

#fi

## Moved to be a runtime check in sqoop.

#if [ ! -d "${HCAT_HOME}" ]; then

#  echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."

#  echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'

#fi

#

#if [ ! -d "${ACCUMULO_HOME}" ]; then

#  echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail."

#  echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.'

#fi

注释掉HCatalog,Accumulo检查(除非你准备使用HCatalog,Accumulo等HADOOP上的组件) 

我的sqoop 要把oracle 数据库  导入到hive 里面

所以要用到oracle jdbc 驱动 ojdbc6.jar

从oracle官网上下载此驱动 放在 

/home/hadoop/sqoop/lib 目录下。


查看sqoop 版本

[hadoop@bi-hadoop01 sqoop]$ sqoop version

Warning: /home/hadoop/sqoop/../hbase does not exist! HBase imports will fail.

Please set $HBASE_HOME to the root of your HBase installation.

Warning: /home/hadoop/sqoop/../zookeeper does not exist! Accumulo imports will fail.

Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.

16/10/13 14:33:44 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6

Sqoop 1.4.6

git commit id c0c5a81723759fa575844a0a1eae8f510fa32c25

Compiled by root on Mon Apr 27 14:38:36 CST 2015

查看 sqoop-import 帮助

执行 sqoop-import --help


测试oracle导入hive数据

sqoop import --hive-import --conect jdbc:oracle:thin:@192.168.106.35:1521:cyporcl --username CYP --password cyp --verbose -m 1 --table CYP_ETL_PROC_CONFIG

注意 用户名 和表名必须大写。

Sqoop 1.4.6 安装导入成功

Sqoop 1.4.6 安装

Sqoop 1.4.6 安装




相关内容

热门资讯

瑞可达:AEC产品在AI场景的... 证券日报网5月12日讯 ,瑞可达在接受调研者提问时表示,伴随着 AI 算力等技术的不断发展,市场对高...
李彦宏:“自我进化”包含智能体... 5月13日举办的Create2026百度AI开发者大会开幕式上,百度创始人李彦宏表示,本届开幕式主题...
毕业季学生党手机推荐:5500... 毕业季来临,许多学生朋友都在寻找一款既能记录青春美好瞬间,又符合预算的拍照手机。预算在5500元左右...
金正恩视察军工企业,强调加强迫... 据凤凰卫视援引朝中社报道,朝鲜最高领导人金正恩5月11日视察朝鲜一批军工企业,了解今年上半年军火生产...
英首相斯塔默面临下台危机,这3... 英国工党日前在地方选举中大败,首相斯塔默遭遇党内逼宫。虽然他想稳住局面,但是逼宫之声仍不断高涨。斯塔...
壁仞科技申请内存访问优化方法专... 国家知识产权局信息显示,上海壁仞科技股份有限公司申请一项名为“一种内存访问优化方法、设备、存储介质及...
港商云南行|共拓“人工智能+”... 昨日召开的滇港“人工智能+”发展大会,搭建了滇港人工智能产业交流对接、成果展示、合作共赢的高端平台,...
苹果发布Xcode 26.5:... IT之家 5 月 13 日消息,苹果公司昨日(5 月 12 日)更新推出 Xcode 26.5,进一...
原创 1... 超越有争议,速度没争议。 定焦One(dingjiaoone)原创 作者 | 王汉星 编辑 | 魏佳...
谷歌称首次发现利用AI开发“零... 【谷歌称首次发现利用AI开发“零日漏洞”攻击工具】财联社5月12日电,美国谷歌公司威胁情报小组11日...