sqoop的导入工具使用
admin
2023-02-08 01:20:09
0

目前用到的sqoop 是从oracle 导入数据到hbase中的。


sqoop import --connect jdbc:oracle:thin:@192.168.193.37:1521:hispacedb --username hwmarket  --password hwmarket37 --m 1 --query "select g.imei,g.id as sign ,to_char(g.logindate,'yyyy-MM-dd hh34:mi:ss') as crtdate,g.buildNumber,g.modelnumber,g.firmwarever as firmware,g.hispaceNumber,g.cno,to_char(g.updateTime,'yyyy-MM-dd hh34:mi:ss') as updateTime ,g.net,g.source,'' density,'' screen from l_logonlog_egame g where \$CONDITIONS" --columns IMEI,SIGN,CRTDATE,BUILDNUMBER,MODELNUMBER,FIRMWARE,HISPACENUMBER,CNO,UPDATETIME,NET,SOURCE,DENSITY,SCREEN --hbase-create-table --hbase-table h_active_device_info_gamecenter --hbase-row-key IMEI --column-family data



具体的一些参数可以参看sqoop 官网的api 即可,


倒入数据速度还是挺快的1kw的数据在10分钟作用就能导入完成。 


另外再使用中, 发现sqoop从oracle导入到hbase中 不能改变hbase中的字段, 必须要和oracle这边的字段名保持一致, 不知道是不是我自己使用的问题, 如果有明白的可以分享下。


相关内容

热门资讯

男子在采血站采血后口吐白沫、神... 7月23日,山西广播电视台《慧帮忙》栏目报道“我弟弟在霍州康宝生物科技采血站采血后口吐白沫、神志不清...
“安全先生”,不安全了 当地时间7月17日凌晨,以色列第25届议会以62票赞成、0票反对通过一项有关政党经费法的相关修正案,...
“AI科学家”,实验效率直接“... □ 本报记者 洪叶 徐春晖 窗明几净的空间里没有科研人员,取而代之的是一排充满科技感的自动化岛台,背...
云南一女子电脑屏内现“蚂蚁窝”... 大家平时清洁电脑显示屏吗? 你见过显示屏里进蚂蚁吗? 据媒体报道,云南临沧一名女子近期发现,自己使...
便携脑电采集新品发布,脑电信号... 一根发带将一个比硬币略大的采集设备贴在额头,就能实现脑电信号采集,脑机接口创新企业神舞科技7月22日...
工业和信息化部:依托标准牵引智... 日前,在北京举办的《人工智能 智能体互联》系列标准应用推进专题会上,工业和信息化部科技司副司长甘小斌...
原创 强... 进入下半年,子系品牌新一轮旗舰和中端性能机开始密集预热,近期更是有博主连续放出两条关键信息,分别指向...
“文学超界面”探索数字时代人文... 来源:新华网 当严肃文学的深厚内核遇见人工智能生成内容(AIGC)的影像创造力,会碰撞出怎样的火花...
以防长称已为应对伊朗局势做好“... △以色列国防部长卡茨(资料图)当地时间23日,据以色列方面消息,以色列国防部长卡茨当天表示,鉴于当前...
美参议院否决限制特朗普对伊战争... △美国国会(资料图)当地时间23日,美国参议院以49票对47票的表决结果,否决了旨在限制特朗普对伊朗...