欢迎光临
我们一直在努力

sqoop的导入工具使用

目前用到的sqoop 是从oracle 导入数据到hbase中的。


sqoop import –connect jdbc:oracle:thin:@192.168.193.37:1521:hispacedb –username hwmarket  –password hwmarket37 –m 1 –query “select g.imei,g.id as sign ,to_char(g.logindate,’yyyy-MM-dd hh34:mi:ss’) as crtdate,g.buildNumber,g.modelnumber,g.firmwarever as firmware,g.hispaceNumber,g.cno,to_char(g.updateTime,’yyyy-MM-dd hh34:mi:ss’) as updateTime ,g.net,g.source,” density,” screen from l_logonlog_egame g where \$CONDITIONS” –columns IMEI,SIGN,CRTDATE,BUILDNUMBER,MODELNUMBER,FIRMWARE,HISPACENUMBER,CNO,UPDATETIME,NET,SOURCE,DENSITY,SCREEN –hbase-create-table –hbase-table h_active_device_info_gamecenter –hbase-row-key IMEI –column-family data

具体的一些参数可以参看sqoop 官网的api 即可,


倒入数据速度还是挺快的1kw的数据在10分钟作用就能导入完成。 

另外再使用中, 发现sqoop从oracle导入到hbase中 不能改变hbase中的字段, 必须要和oracle这边的字段名保持一致, 不知道是不是我自己使用的问题, 如果有明白的可以分享下。

赞(0)
【声明】:本博客不参与任何交易,也非中介,仅记录个人感兴趣的主机测评结果和优惠活动,内容均不作直接、间接、法定、约定的保证。访问本博客请务必遵守有关互联网的相关法律、规定与规则。一旦您访问本博客,即表示您已经知晓并接受了此声明通告。