并行提高oracle数据导入速度
admin
2023-05-14 00:02:28
0次
近期有一个行业项目，需要把较大数据从文件中导入到oracle。
我们使用oracle的sqlldr导入数据，当数据量较大时导入的时间过长：导入一张8千万条记录的表需要2.5个小时，太慢了。
后来采用了sqlldr并行导入的方式将时间缩短到了0.8小时，这里记录一下使用过程。
思路
将要导入的数据文件拆分成10份，然后使用多任务并行执行对应数据份数的sqlldr命令（当然也就需要同样数量的control文件），多个客户端同时往数据库中导入数据。
这里有两点比较重要，1、如何自动生成若干条sqlldr命令和若干个control文件（一个个写有点累）；2、如何同时并行执行（一个个去执行就更累了）。
这里借助了集算器这个工具完成自动生成命令和控制文件，再并行执行。
实现步骤
主程序
负责任务控制，任务分配、调用子程序。
子程序
生成具体control文件和sqlldr命令，并执行导入命令完成数据加载
【注】这里使用了集算器的并行机制来同时执行多个sqlldr命令；使用system函数调用系统命令。
实际效果
由于是程序控制的并行任务，所以可以根据实际需要设置并行任务数，将机器性能发挥到最优。
下图记录了不同并行数情况下sqlldr导入速度，总体是呈线性增长的，并发任务越多，导入速度越快。
相关内容
热门资讯
特朗普访华工作午餐菜单曝光
美国总统特朗普5月15日访华最后一天午餐都吃了什么？美国有线电视新闻网（CNN）5月15日报道，特朗...
香蕉复仇、蓝莓出轨？警惕水果短...
“香蕉女王复仇”“蓝莓出轨草莓”……最近，一群“成精”的水果席卷短视频平台。这些都来自“水果AI短剧...
风声｜武汉大学取消公众预约制度...
作者丨熊丙奇教育学者近日，武汉大学正式取消社会公众进校预约制度，无需任何预约，仅凭本人身份证即可步行...
中美是否就稀土供应达成新谅解？...
澎湃新闻记者 杨文钦 朱郑勇5月15日，外交部发言人郭嘉昆主持例行记者会。《纽约时报》记者提问，美中...
央视拿下世界杯版权 104场比...
央视拿下世界杯版权 【央视拿下世界杯版权】2026年5月15日，这个注定被载入中国体育版权史的日子...
中美是否在农业方面达成协议？外...
澎湃新闻记者 杨文钦 朱郑勇5月15日，外交部发言人郭嘉昆主持例行记者会。《纽约时报》记者提问，请问...
成都引众北斗授时服务器：解决电...
毫秒级误差，就可能让电网保护误动、5G基站干扰、金融交易错序。 在电力、通信、金融等关键基础设施中，...
京鲁牵手，共创“1＋1＆gt;...
“2026年央视春晚，用手灵活盘核桃的机器人，是我们公司的产品。目前，我们的机器人能在复杂环境中完成...
全国投资人，“抢夺”深圳大厂高...
白手起家的新故事。 来源：每日人物 文：谢韫力 编辑：张轻松 过去一年，北京、上海的投资人开始频繁出...
乐山一商场推行“宠物友好”，曝...
近日，四川乐山网友反映，当地世豪广场高调打造“宠物友好”商圈、投放相关宣传，却放任狗不拴绳以及狗上桌...