Sqoop2使用方法简介
admin
2023-07-30 02:40:07
0次

1.sqoop2-shell 进入 shell


2.show connector 显示支持的连接方式

Sqoop2使用方法简介Sqoop2使用方法简介

Sqoop2使用方法简介


3.show link -all 查看已有连接的信息


ink with id 1 and name .168.1.188-1464317401319 (Enabled: true, Created by Administrator at 5/27/16 10:50 AM, Updated by Administrator at 5/27/16 10:50 AM)

Using Connector generic-jdbc-connector with id 4

  Link configuration

    JDBC Driver Class: com.mysql.jdbc.Driver

    JDBC Connection String: ****************************************

    Username: 

    Password: 

    JDBC Connection Properties: 


4. create link -c 4 表示创建基于connector4 的link


创建的时候要输入步骤3显示的信息



5create job -f -t


-f 从哪个link

-t 到哪个link


(schema name,table name )和 table sql statement 是互斥的只能写其中一个


table sql statement 要写${CONDITIONS}


check column 和last value 两个参数用作增量更新


这里选择普通文件(TEXT_FILE)和不压缩(NONE)的方式进行导入,方便查看导入文件


Sqoop2使用方法简介Sqoop2使用方法简介




创建成功会返回id


用show job -jid 18  查看job,id为18的详细信息



6.如果报错,想要显示具体的错误信息,可以执行下列语句。

sqoop:000> set option -name verbose -value true

Verbose option was changed to true


设置前

Sqoop2使用方法简介

Sqoop2使用方法简介

设置后,可以在报错信息中查看具体错误信息并排查。


Sqoop2使用方法简介Sqoop2使用方法简介




start job -jid 18 -s    

-s:表示实时显示job的执行进度,默认不写的话,只会显示到job开始



7status job -jid 18 

显示 id为18的job的执行状态

Sqoop2使用方法简介

Sqoop2使用方法简介



显示执行成功


8.查看Hdfs控制台

Sqoop2使用方法简介Sqoop2使用方法简介


表明已经导入成功,如果还不放心 可以用

hadoop dfs -cat /tmp/xktest/文件名

来查看文件具体内容是否和表中的相同。


相关内容

热门资讯

空调连续工作多久需要停机休息 空调连续工作的时间取决于多个因素,包括空调的型号、功率、使用环境和维护情况等。一般来说,空调可以连续...
空调哪个符号是除湿的 空调除湿功能通常用一个水滴形状的符号表示。不同品牌和型号的空调遥控器可能会有所差异,但一般来说,除湿...
格力空调多长时间加一次氟利昂 1、一般情况下,空调对氟利昂的使用量是非常小的,所以在空调使用了四年左右的时候再考虑加也没问题。2、...
空调用多长时间需要加氟一次 一般情况下是五年。当出现以下这几种情况时,空调才需要加氟。1、空调的室内机和室外机各有两个接口,当接...
格调生活·C标思享荟:卡萨帝在... 9月12日的郑州龙湖金融岛,夜风轻拂,灯光璀璨。“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑...
品牌价值破千亿、高端份额持续领... 9月12日,“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑州站”在郑州龙湖金融岛举办。2026...
空调主板坏了修800还是换新的 空调主板坏了是修还是换新,需要考虑多个因素,以下是一些建议:1. 维修成本:如果维修费用较低,比如 ...
空调开多久需要休息多长时间 问题:空调开多久需要休息多长时间回答:1、在使用空调的过程中,一般空调开7~8个小时左右需要休息2~...
中央空调多长时间清洗一次 1、一般空调开机前清洗一次即可,空调开机中间时段再清洗一次,空调关机时清洗一次,这样比较合理。2、空...
中央空调氟利昂多久加一次 看空调制热和制冷程度,很多人的观点认为氟利昂必须一年放一次,其实这个观点是错误的,理解上面有点偏差,...