记一次从oracle到hive的历史数据迁移(一)
admin
2023-05-02 01:02:21
0

介绍一下具体场景

    需要从现有在用的oracle中将历史数据迁移出来并导入到hive中,存在几个问题:1、现有oracle数据库在使用无法整个库导出,数据库服务器没有权限;2、由于各个数据提供方的各次升级,oracle数据库采取添加字段而不删除字段的方式更新,而hive中建立的表数据结构要按新的来,也就是说oracle导出的数据到hive表中需要做字段对应。

    决定先将oracle导入到另一个oracle中,将oracle中表字段和hive中的表字段进行比对得到各个的对应关系,之后写对应的sqoop语句对应利用ETL流程安装账期一天一天导入。 

    从一个oracle到另一个oracle导入的方案,利用大神写出的sqluldr2 工具用来导出数据,导入利用

sqlldr 命令导入到另一个库表中。

   导出的具体命令

sqluldr2.bin user=root/pwd@tnsname query="select /*+ parallel(8) */ * from table   " head=no File=/data/oracle/tmp/file 导出到本地目录

  导入的具体命令

sqlldr root/pwd@@ip:1521/tnsname control=/data/oracle/shell/xxx.ctl 

data=/data/oracle/tmp/file

log=/data/oracle/log/file.log errors=0 rows=100000 bindsize=1024000000 direct=y;

xxx.ctl 是用来指定导入表的字段和分割符如下写法

load data

truncate into table  tablename

Fields terminated by ',' #文件的列分隔符

TRAILING NULLCOLS

IP char(255), 

APPKEY char(255), 

PLATFORM char(255), 

PORTAL char(255), 

COMPANYID char(255) )


相关内容

热门资讯

商界巨头、政府高官、儿子儿媳:... 澎湃新闻记者 朱郑勇 实习生 蒋嘉和美国总统特朗普即将于今天晚些时候抵达中国。据中国新闻网13日报道...
日本零食厂商因石脑油匮乏部分停... 【环球网报道】据日本共同社5月13日报道,日本食品生产公司“野村煎豆加工店”当天接受采访时表示,由于...
郑丽文:特朗普若反对“台独”,... 美国总统特朗普将于5月13日至15日访华,台湾问题是主要议题之一。中国国民党主席郑丽文称,特朗普若表...
特朗普要求中国对美经贸团队访问... 澎湃新闻记者 杨文钦 朱郑勇5月13日,外交部发言人郭嘉昆主持例行记者会。法新社记者提问,美国总统特...
美媒又想起这茬:2年前在地中海... 【文/观察者网 阮佳琪】2024年12月23日,载有16名船员的俄罗斯“大熊星座”号货船在西班牙近海...
App过度索取授权或被境外间谍... 微信公众号“国家安全部”5月13日发文: 手机里各种各样的应用程序(APP)五花八门,在方便我们生...
广合科技获得发明专利授权:“一... 证券之星消息,根据天眼查APP数据显示广合科技(001389)新获得一项发明专利授权,专利名为“一种...
华尔街科技老将:大科技公司分化... 5月11日,互联网泡沫时期的知名芯片分析师、Niles Investment Management创...
香港80后“地产女王”烧炭身亡... 据《香港01》报道,5月12日,香港九龙传统豪宅地段加多利山畔的豪宅项目Kadoorie Hill发...
谷歌发布安卓 AI 系统,这就... 和去年一样,在正式的 Google I/O 开发者大会之前,谷歌为 Android 单独开了一次小型...