并行提高oracle数据导入速度
admin
2023-05-14 00:02:28
0次
近期有一个行业项目，需要把较大数据从文件中导入到oracle。
我们使用oracle的sqlldr导入数据，当数据量较大时导入的时间过长：导入一张8千万条记录的表需要2.5个小时，太慢了。
后来采用了sqlldr并行导入的方式将时间缩短到了0.8小时，这里记录一下使用过程。
思路
将要导入的数据文件拆分成10份，然后使用多任务并行执行对应数据份数的sqlldr命令（当然也就需要同样数量的control文件），多个客户端同时往数据库中导入数据。
这里有两点比较重要，1、如何自动生成若干条sqlldr命令和若干个control文件（一个个写有点累）；2、如何同时并行执行（一个个去执行就更累了）。
这里借助了集算器这个工具完成自动生成命令和控制文件，再并行执行。
实现步骤
主程序
负责任务控制，任务分配、调用子程序。
子程序
生成具体control文件和sqlldr命令，并执行导入命令完成数据加载
【注】这里使用了集算器的并行机制来同时执行多个sqlldr命令；使用system函数调用系统命令。
实际效果
由于是程序控制的并行任务，所以可以根据实际需要设置并行任务数，将机器性能发挥到最优。
下图记录了不同并行数情况下sqlldr导入速度，总体是呈线性增长的，并发任务越多，导入速度越快。
相关内容
热门资讯
以军士兵集体丢掉武器抗命，大喊...
据凤凰卫视报道，以色列国防军一军事基地7月30日发生士兵抗命事件，约120名士兵抗议指挥官做法，将武...
蒋成华任商务部副部长
国务院任免国家工作人员。任命蒋成华为商务部副部长。免去蒋成华的商务部国际贸易谈判副代表职务。
伊朗驻华大使：在军事威胁下，不...
新华社北京7月31日电（记者刁慧琳） 伊朗驻华大使法兹里7月28日表示，伊美回到谈判桌的前提是美国必...
伊朗革命卫队在霍尔木兹海峡击中...
当地时间31日，伊朗伊斯兰革命卫队发布声明称，革命卫队海军当天在霍尔木兹海峡击中并扣留了两艘违反禁令...
美媒：特朗普，遇到了一个更强硬...
据《纽约时报》7月29日报道，就在特朗普总统看似放弃战事升级计划几天后，美国再次与伊朗交火。上周末，...
女子做气管镜时不幸身亡，丈夫称...
7月29日，西安刘先生反映妻子在当地医院做支气管镜检查时死亡，看监控时发现医生疑有违规操作。刘先生表...
全网“帮卖西瓜”，然后呢？
近日，河南部分地区西瓜滞销的消息在网上热度很高。很多地方也伸出援手：有景区收购千斤西瓜、免费赠予游客...
美媒：乌克兰袭击伊朗船只，险引...
据《纽约时报》7月28日报道，据伊朗和西方官员称，伊朗曾考虑攻击乌克兰的一个港口，以报复乌克兰对一艘...
20年里，他只画美女，用东方风...
迈进KIM在上海的工作室，迎面是一整墙的美女们。她们像是刚从一场时髦的沙龙里退场，或倚或立，眉宇间是...
Google在港推出AI代理G...
观点网讯：7月29日，Google在香港推出AI代理Gemini Spark，该代理可全天候在后台运...