关系型数据库导入导出绝招出炉
admin
2023-05-29 12:21:29
0

Sqoop作为数据传输的工具,对于Hadoop与传统数据库之间数据的传输起着桥梁作用,那么到底如何导入导出数据呢?

第一:使用MapReduce作业来执行导入:

1Sqoop首先检查将要导入的表

1、确定主键(如果有的话),调用mapreduce,根据主键分割map

2、没有主键,运行边界查询确定导入的记录数(找到一个min和一个max,确定边界进行划分)

3、通过任务数来划分边界查询的结果,使得他们有相同的负载

2Sqoop为每个将导入的表生成Java源文件

1、在导入过程中编译和使用文件

2、导入后依然保留,可以被安全删除

第二:使用sqoop导入整个数据库:

(1)import-all-tables工具导入整个数据库

1、存储为逗号间隔的文件

2、默认导入到HDFShome目录

3、数据将放在每个表的子目录中

关系型数据库导入导出绝招出炉

2)使用--warehouse-dir选项指定不同的基础目录关系型数据库导入导出绝招出炉

第三:使用Sqoop导入单个表:

1import工具导入单个表

1、示例:导入accounts

以逗号分隔的方式存储数据到HDFS

关系型数据库导入导出绝招出炉

2、指定tab分隔字段

关系型数据库导入导出绝招出炉

第四:增量导入

(1)  如果上次记录导入后发生了变更怎么办?

1、可以重新导入所有记录,但是效率低

(2)  Sqooplastmodified增量模式导入新的和修改的记录

1、基于指定的timestamp

2、确保当记录更新或者被添加时timestamp也更新

关系型数据库导入导出绝招出炉

(3)append增量模式只导入新纪录

1、基于指定列的最后一条记录

关系型数据库导入导出绝招出炉

第五:使用SqoopHadoop导出数据到RDBMS

1Sqoopimport工具把数据从RDBMS拉入到HDFS

2)有时候也需要把HDFS的数据推回到RDBMS,当需要对大数据集进行批处理,并导出结果到RDBMS供其它系统访问

3Sqoop使用export工具RDBMS表在导出前必须已存在

关系型数据库导入导出绝招出炉

掌握了以上方式,对于关系型数据库的导入和导出基本有一个明确的认知和了解,其实我们在日常的学习和实践过程中要多去看看别人的分享,毕竟做技术每个人的经历与经验不一样,有时候说不准会有意向不到的收获。我自己平时喜欢关注“大数据cn”、“大数据时代学习中心”这些微信服务号,对于我个人而言,起到了很大的促进作用,也期待每一个学习大数据的人都能够有所收获!


相关内容

热门资讯

致2026级新生:这份2026... 在接下来的日子里,2026级的新同学将陆续收到那份期盼已久的录取通知书,正式成为黄河科技学院的一员。...
日本车企丰田在乌克兰的仓库被炸 8月5日,“丰田-乌克兰”官方帐号在社交媒体发文称,8月4日晚至8月5日凌晨,“丰田-乌克兰”的汽车...
因通信失误,特朗普所乘直升机与... 【环球网报道 记者 闫珮云】美国总统特朗普所乘直升机当地时间4日在华盛顿遭遇飞行安全事件。《纽约时报...
美国一政客在沙滩上与他人发生肢... 【环球网报道】据福克斯新闻网等美媒8月5日报道,美国民主党籍众议院候选人基里尔·巴辛日前在夏威夷沙滩...
休达移民潮观察:我在西班牙看到... 编者按7月底,西班牙北非飞地休达发生了一场震动欧洲的边境风波。七万名摩洛哥年轻人在社交媒体的信息鼓动...
上海汇正财经顾问有限公司:供给...   近期国内稀土行业供需格局改善,行业景气度重回上行通道。上海汇正财经顾问有限公司分析表示,当前稀土...
青海拉面告别“兰州拉面”,借来... 澎湃新闻主笔 沈彬近日,“兰州拉面”店招纷纷改换为“青海拉面”,成为了社会关注热点。今年6月,天津7...
新华时评|从“向新”“向优”读... 新华社北京8月5日电 题:从“向新”“向优”读懂中国经济韧性活力新华社记者王悦阳“我国经济呈现动能向...
2026线上商城哪家更好用?主... 选型误区:莫让“伪需求”绑架预算 在筛选平台之前,商家首先需要破除两个常见的选型误区。 误区一:功能...
AI虚拟主播难辨真假?这份AI... 你在看直播时,是不是也刷到过这样的画面?主播长相精致、表情恒定、动作流畅,商品展示得近乎完美,但总感...