记一次从oracle到hive的历史数据迁移(一)
admin
2023-05-02 01:02:21
0

介绍一下具体场景

    需要从现有在用的oracle中将历史数据迁移出来并导入到hive中,存在几个问题:1、现有oracle数据库在使用无法整个库导出,数据库服务器没有权限;2、由于各个数据提供方的各次升级,oracle数据库采取添加字段而不删除字段的方式更新,而hive中建立的表数据结构要按新的来,也就是说oracle导出的数据到hive表中需要做字段对应。

    决定先将oracle导入到另一个oracle中,将oracle中表字段和hive中的表字段进行比对得到各个的对应关系,之后写对应的sqoop语句对应利用ETL流程安装账期一天一天导入。 

    从一个oracle到另一个oracle导入的方案,利用大神写出的sqluldr2 工具用来导出数据,导入利用

sqlldr 命令导入到另一个库表中。

   导出的具体命令

sqluldr2.bin user=root/pwd@tnsname query="select /*+ parallel(8) */ * from table   " head=no File=/data/oracle/tmp/file 导出到本地目录

  导入的具体命令

sqlldr root/pwd@@ip:1521/tnsname control=/data/oracle/shell/xxx.ctl 

data=/data/oracle/tmp/file

log=/data/oracle/log/file.log errors=0 rows=100000 bindsize=1024000000 direct=y;

xxx.ctl 是用来指定导入表的字段和分割符如下写法

load data

truncate into table  tablename

Fields terminated by ',' #文件的列分隔符

TRAILING NULLCOLS

IP char(255), 

APPKEY char(255), 

PLATFORM char(255), 

PORTAL char(255), 

COMPANYID char(255) )


相关内容

热门资讯

卖“毒蛋”的人,抓到了 作者 | 何国胜 编辑 | 向现“(人)抓到了,目前案件正在侦办中。”7月28日晚间,苏州禁毒部门有...
尺素金声丨实施零关税国家达63... 海关总署发布的数据显示,今年5月1日起,我国对53个非洲建交国全面实施零关税举措,目前,我国实施零关...
职业索赔盯上基层诊所,倒逼用药... 文 | 布丁基层诊所正在被职业索赔盯上。据新京报,去年夏天,一男子走进河南南阳一家诊所,要求购买三瓶...
“西瓜我全买了”就可以肆意妄为... 拿西瓜砸了人,把瓜都买了,就能一走了之吗?事实证明,这套逻辑在法治社会行不通。7月28日晚,据海峡都...
科学家在日本广岛发现新物质,系... 在美国对日本广岛进行原子弹轰炸近81年后,科学家们在广岛的沙滩上发现了一种奇异且从未被发现过的新物质...
AI失控,反噬开始 作者 | 贺一 编辑 | 阿树近期,中国开源模型在美国频繁引发热议。7月28日,月之暗面发布Kimi...
“总统千金天价离婚”,分到43... 2026年7月24日下午,首尔高等法院,一场持续近十年的司法拉锯战终于接近尾声。法庭裁定SK集团会长...
巴基斯坦,又拿下一个历史性协议 全世界都没想到,接连的中东大战,巴基斯坦正成为最大赢家。去年以色列追杀哈马斯,空袭卡塔尔首都,阿拉伯...
汇正财经贺峰的一对一指导服务怎...   对于考虑购买证券投资顾问服务的投资者来说,'一对一指导服务怎么样'是一个重要的考量维度。需要首先...
重庆失联00后网格员龚宝冬确认...   重庆失联00后网格员龚宝冬确认遇难  【重庆失联00后网格员龚宝冬确认遇难】2026年7月29日...