版本 1.4.3
sqoop help 命令帮助
对应数据库的jdbc jar包复制到sqoop lib目录下
1.把数据从mysql导入hdfs(默认是/user/<username>中
sqoop import --connect jdbc:mysql://localhost:3306/hive --username root --password root --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append
m代表map个数
append代表追加,目录存在的情况下
--hive-import代表导入到hive中
2.把数据从hdfs导出到mysql都是按目录导出(mysql事先要存在一个数据库和表)
sqoop export --connect jdbc:mysql://localhost:3306/hive --username root
--password root --table ids --fields-terminated-by '\t' --export-dir '/ids'
可以重复执行不断往mysql中插入
3.增量导入,生产中用的比较多(incremental)
--check-column 'TBL_ID' --incremental append --last-value 6
4.设置作业
创建job(类似于脚本)
sqoop job --create myjob -- import --connect jdbc:mysql://localhost:3306/hive --username root --password root --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append
查看job
sqoop job --list
删除job
sqoop job --delete myjob
执行job
sqoop job --exec myjob
需要输入密码
5.导入导出的事务是以Mapper任务为单位
--satging-table中间表
staging-table <staging-table-name> 中间表
http://blog.csdn.net/yfkiss/article/details/17614721