Sqoop 连接mysql数据库
原创
©著作权归作者所有:来自51CTO博客作者塞上江南o的原创作品,请联系作者获取转载授权,否则将追究法律责任
目录
- 1. Sqoop 上传 解压
- 2. 修改配置文件 sqoop-env.sh
- 3. 拷贝jdbc驱动到sqoop的lib目录下
- 4. 验证Sqoop配置是否正确
- 5. 测试Sqoop是否能够成功连接MySQL数据库
1. Sqoop 上传 解压
安装Sqoop的前提是已经具备Java和Hadoop的环境。
- :sqoop下载地址
- 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中
- 解压sqoop安装包到指定目录,如:
$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/modules/
2. 修改配置文件 sqoop-env.sh
Sqoop的配置文件与大多数大数据框架类似,在sqoop根目录下的conf目录中。
- 重命名配置文件
$ mv sqoop-env-template.sh sqoop-env.sh
- 修改配置文件 sqoop-env.sh
这些配置生效的前提是环境变量中已经配置成功
export HADOOP_COMMON_HOME=/opt/modules/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/modules/hadoop-2.7.2
export HIVE_HOME=/opt/modules/hive-1.2.1
export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.10
export ZOOCFGDIR=/opt/modules/zookeeper-3.4.10
3. 拷贝jdbc驱动到sqoop的lib目录下
[hadoop@hadoop201 software]$ cp mysql-connector-java-5.1.27-bin.jar /opt/modules/sqoop-1.4.6/lib/
4. 验证Sqoop配置是否正确
[hadoop@hadoop201 sqoop-1.4.6]$ bin/sqoop help
5. 测试Sqoop是否能够成功连接MySQL数据库
[hadoop@hadoop201 sqoop-1.4.6]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop201:3306/ --username root --password root