sqoop导入关系型数据库-解密Sqoop
admin
2023-05-29 14:41:22
0

Sqoop作为Hadoop与传统数据库之间的桥梁,对于数据的导入导出有着重要作用。通过对Sqoop基本语法以及功能的阐述,深刻解密Sqoop的作用和价值。

 一、什么是Apache Sqoop?

Cloudera开发的Apache开源项目,是SQL-to-Hadoop的缩写。主要用于在Hadoop(Hive)与传统的数据库(mysqlpostgresql...)间进行数据的传递,可以将一个关系型数据库(例如 MySQL ,Oracle ,Postgres等)中的数据导进到HadoopHDFS中,也可以将HDFS的数据导进到关系型数据库中。在导入数据的时候,既可以导入整个数据库,也可以导入单个表、所有表或表的部分数据到HDFS,在导入数据的同时可以导成各种格式。除此之外,Sqoop可以从HDFS导出数据到数据库,所以sqoop它拥有双向的作用。

sqoop导入关系型数据库-解密Sqoop

二、Sqoop如何工作?

Sqoop工作也是基于计算框架MapReduce,MapReduce会把提交的SQL导数转换成MapReduce作业,然后提交到集群。总体来说分成三个步骤:

1、检查表详情

2、创建和提交作业到集群

3、获取表记录并写入数据到HDFS

sqoop导入关系型数据库-解密Sqoop

三、基本语法:

Sqoop是一个带很多子命令的命令行工具,有很多用来导入、导出、列出数据库内容等工具。通常我们先列出数据库有哪些表,然后再去导相应的表。如果想要去看sqoop所有的工具,可以运行sqoop help来查看所有工具列表,在这里也建议大家习惯使用help,去查找一些使用参数。另外,也可以运行sqoop help tool-name来查看特定工具的帮助(如importexport)。

Sqoop调用的基本语法

sqoop导入关系型数据库-解密Sqoop

四、使用Sqoop探索数据库:

通常在导数据之前我们先要探索一下数据库,去了解数据库里面都有哪些表,一般有两种方式:

1List-tables:列出所有MySQLloudacre数据库的表

sqoop导入关系型数据库-解密Sqoop

2.eval:执行数据库查询

sqoop导入关系型数据库-解密Sqoop

Sqoop作为Hadoop家族重要的一员,我们需要着重认知和把握,对于我们了解和学习大数据有着重要的帮助。平常大家也可以关注一些大数据的资讯,了解大数据发展的趋势和一些行业经典案例。尤其是现在网络媒体兴盛,信息传播迅速,比如微信服务号,我自己平时就喜欢从上面找一些案例,像大数据cn就很不错。但是技术永远都是有门槛的,只有不断学习交流才可以不断进步,最近我在大数据时代学习中心这个服务号也学到了一些其他人分享的经验,对于我个人帮助也很大。

 

相关内容

热门资讯

梅姨居住过的黄砂村村民:喊的其... 8月5日,潇湘晨报 ·晨视频记者从多个寻亲家庭获悉,“梅姨”涉拐卖儿童案已进入审查起诉环节。他们收到...
让领导干部带头休,难解体制外休... 文 | 布 丁近日,河南省委组织部等六部门联合印发《关于进一步推动落实职工带薪错峰休假的通知》(以下...
47岁女子腹痛就医才知道自己怀... 近日,湖北的魏女士分享,她47岁的妈妈因腹痛被紧急送医,到医院检查后才发现自己已经怀孕,一个小时后顺...
二楼单独排水管道贵不贵 二楼单独排水管道的价格因地区、材料、施工难度等因素而异,因此我无法给出具体的价格。一般来说,二楼单独...
二楼下水道改造方法 二楼下水道改造需要根据具体情况进行设计和施工,以下是一些常见的改造方法:1. 更换管道:如果二楼下水...
一根电线怎么串联2个灯 在家庭电路中,一根电线串联 2 个灯的方法如下:1. 首先,需要准备好 2 个灯泡、电线、插头、开关...
厨房下水道疏通价格怎么样 自己买个工具,五金店都有卖。十元左右,然后自己动手。
厨房下水道管道反水疏通方法 在厨房下水管道位置增加止回阀门。如果说所住的小区经常性出现下水道堵塞的情况,那么说要不就是楼上下的邻...
RTX 50显卡烧接口新解法!... 快科技8月6日消息,技嘉近日将Infinity系列扩展至RTX 5080、RTX 5070 Ti和R...
NASA好奇号在火星发现奇特蜂... IT之家 8 月 6 日消息,美国国家航空航天局(NASA)的“好奇号”(Curiosity)火星车...