SQOOP安装
1、上传并解压
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/soft/
2、修改文件夹名字
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6
3、修改配置文件
# 切换到sqoop配置文件目录 cd /usr/local/soft/sqoop-1.4.6/conf # 复制配置文件并重命名 cp sqoop-env-template.sh sqoop-env.sh # vim sqoop-env.sh 编辑配置文件，并加入以下内容 export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-2.7.6 export HADOOP_MAPRED_HOME=/usr/local/soft/hadoop-2.7.6/share/hadoop/mapreduce export HBASE_HOME=/usr/local/soft/hbase-1.4.6 export HIVE_HOME=/usr/local/soft/hive-1.2.1 export ZOOCFGDIR=/usr/local/soft/zookeeper/conf export ZOOKEEPER_HOME=//usr/local/soft/zookeeper # 切换到bin目录 cd /usr/local/soft/sqoop-1.4.6/bin # vim configure-sqoop 修改配置文件，注释掉没用的内容（就是为了去掉警告信息）
4、修改环境变量
vim /etc/profile # 将sqoop的目录加入环境变量
5、添加MySQL连接驱动
# 从HIVE中复制MySQL连接驱动到$SQOOP_HOME/lib cp /usr/local/soft/hive-1.2.1/lib/mysql-connector-java-5.1.49.jar /usr/local/soft/sqoop-1.4.6/lib/
6、测试
# 打印sqoop版本 sqoop version
# 测试MySQL连通性 sqoop list-databases -connect jdbc:mysql://master:3306/ -username root -password 123456
准备MySQL数据
登录MySQL数据库
mysql -u root -p123456;
创建student数据库
create database student;
切换数据库并导入数据
# mysql shell中执行 use student; source /root/student.sql; source /root/score.sql;
另外一种导入数据的方式
# linux shell中执行 mysql -u root -p123456 student
使用Navicat运行SQL文件
也可以通过Navicat导入
导出MySQL数据库
mysqldump -u root -p123456 数据库名>任意一个文件名.sql
import
从传统的关系型数据库导入HDFS、HIVE、HBASE......
MySQLToHDFS
编写脚本，保存为MySQLToHDFS.conf
import --connect jdbc:mysql://master:3306/student --username root --password 123456 --table student --m 2 --split-by age --target-dir /sqoop/data/student --fields-terminated-by ','
执行脚本
sqoop --options-file MySQLToHDFS.conf
注意事项：
1、--m 表示指定生成多少个Map任务，不是越多越好，因为MySQL Server的承载能力有限
2、当指定的Map任务数>1，那么需要结合--split-by参数，指定分割键，以确定每个map任务到底读取哪一部分数据，最好指定数值型的列
3、如果指定的分割键数据分布不均，可能导致数据倾斜问题
4、编写脚本的时候，注意：例如：--username参数，参数值不能和参数名同一行
--username root // 错误的 // 应该分成两行 --username root
5、运行的时候会报错InterruptedException，hadoop2.7.6自带的问题，忽略即可
21/01/25 14:32:32 WARN hdfs.DFSClient: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:716) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:476) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:652)
6、实际上sqoop在读取mysql数据的时候，用的是JDBC的方式，所以当数据量大的时候，效率不是很高
7、sqoop底层通过MapReduce完成数据导入导出，只需要Map任务，不许需要Reduce任务
MySQLToHive
编写脚本，并保存为MySQLToHDFS.conf文件
import --connect jdbc:mysql://master:3306/student --username root --password 123456 --table score --fields-terminated-by "\t" --lines-terminated-by "\n" --m 2 --split-by student_id --hive-import --hive-overwrite --create-hive-table --hive-database testsqoop --hive-table score
执行脚本
sqoop --options-file MySQLToHDFS.conf
--direct
加上这个参数，可以在导出MySQL数据的时候，使用MySQL提供的导出工具mysqldump，加快导出速度，提高效率
需要将master上的/usr/bin/mysqldump分发至 node1、node2的/usr/bin目录下
scp /usr/bin/mysqldump node1:/usr/bin/ scp /usr/bin/mysqldump node2:/usr/bin/
-e参数的使用
import --connect jdbc:mysql://master:3306/student --username root --password 123456 --fields-terminated-by "\t" --lines-terminated-by "\n" --m 2 --split-by student_id --e "select * from score where student_id=1500100011 and \$CONDITIONS" --target-dir /testQ --hive-import --hive-overwrite --create-hive-table --hive-database testsqoop --hive-table score2
MySQLToHBase
编写脚本，并保存为MySQLToHBase.conf
import --connect jdbc:mysql://master:3306/student --username root --password 123456 --table student --hbase-table student --hbase-row-key id --m 1 --column-family cf1
在HBase中创建student表
create 'student','cf1'
执行脚本
sqoop --options-file MySQLToHBase.conf
export
HDFSToMySQL
编写脚本，并保存为HDFSToMySQL.conf
export --connect jdbc:mysql://master:3306/student?useUnicode=true&characterEncoding=UTF-8 --username root --password 123456 -m 1 --columns id,name,age,gender,clazz --export-dir /sqoop/data/student/ --fields-terminated-by ',' --table student
先清空MySQL student表中的数据，不然会造成主键冲突
执行脚本
sqoop --options-file HDFSToMySQL.conf
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
