一、Sqoop概述

### --- [数据迁移工具-Sqoop]

~~~     [sqoop概述原理及安装部署]
~~~     [sqoop应用案例之导入全部数据]
~~~     [Sqoop应用案例之后查询指定列及where使用]
~~~     [sqoop应用案例之多Mapper导入及hive表导入]
~~~     [sqoop应用案例之导出到mysql]
~~~     [sqoop应用案例之CDC]
~~~     [sqoop应用案例之数据增量导入]
~~~     [sqoop应用案例之数据增量JOB]
### --- Sqoop概述

~~~     Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库（mysql、postgresql等）间进行数据的传递。可
~~~     以将关系型数据库（MySQL ,Oracle,Postgres等）中的数据导入到HDFS中，
~~~     也可以将HDFS的数据导进到关系型数据库中。
~~~     Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，
~~~     后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，
~~~     Sqoop独立成为一个 Apache 项目。
~~~     将导入或导出命令转换为 MapReduce 程序来实现。
~~~     翻译出的 MapReduce 中主要是对 inputformat 和outputformat 进行定制。

|NO.Z.00053|——————————|^^ 部署 ^^|——|Hadoop&Sqoop.V01|——|Sqoop.v01|安装配置|_hive

二、安装配置

### --- 安装配置

~~~     Sqoop 官网：http://sqoop.apache.org/
~~~     Sqoop下载地址：http://www.apache.org/dyn/closer.lua/sqoop/
### --- 下载、上传并解压
~~~     将下载的安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 上传到虚拟机中；
~~~     解压缩软件包；
        
[root@linux123 software]# tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ../servers/
[root@linux123 software]# cd ../servers/
[root@linux123 servers]# mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7
### --- 增加环境变量，并使其生效

[root@linux123 ~]# vim /etc/profile
# 增加以下内容
##SQOOP_HOME
export SQOOP_HOME=/opt/yanqi/servers/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin
 
[root@linux123 ~]# source /etc/profile
### --- 创建、修改配置文件

~~~     # 配置文件位置 $SQOOP_HOME/conf；要修改的配置文件为 sqoop-env.sh
[root@linux123 ~]# cd $SQOOP_HOME/conf
[root@linux123 conf]# cp sqoop-env-template.sh sqoop-env.sh
~~~     # 在文件最后增加以下内容
[root@linux123 conf]# vim sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/yanqi/servers/hadoop-2.9.2
export HADOOP_MAPRED_HOME=/opt/yanqi/servers/hadoop-2.9.2
export HIVE_HOME=/opt/yanqi/servers/hive-2.3.7
### --- 拷贝JDBC驱动程序
~~~     # 拷贝jdbc驱动到sqoop的lib目录下（备注：建立软链接也可以）

[root@linux123 conf]# ln -s /opt/yanqi/servers/hive-2.3.7/lib/mysql-connector-java-5.1.46.jar \
/opt/yanqi/servers/sqoop-1.4.7/lib/
### --- 拷贝 jar
~~~     将 $HIVE_HOME/lib 下的 hive-common-2.3.7.jar，拷贝到 $SQOOP_HOME/lib目录下。
~~~     如不拷贝在MySQL往Hive导数据的时候将会出现错误：

ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
~~~     # 硬拷贝 和 建立软链接都可以，选择一个执行即可。下面是硬拷贝
[root@linux123 conf]# cp $HIVE_HOME/lib/hive-common-2.3.7.jar $SQOOP_HOME/lib/

~~~     # 建立软链接
[root@linux123 conf]# ln -s /opt/yanqi/servers/hive-2.3.7/lib/hive-common-2.3.7.jar \
 /opt/yanqi/servers/sqoop-1.4.7/lib/hive-common-2.3.7.jar
~~~     将 $HADOOP_HOME/share/hadoop/tools/lib/json-20170516.jar 拷贝到$SQOOP_HOME/lib/ 目录下；否则在创建sqoop job时会报：java.lang.NoClassDefFoundError: org/json/JSONObject

[root@linux123 ~]# cp $HADOOP_HOME/share/hadoop/tools/lib/json-20170516.jar $SOOP_HOME/lib/
### --- 安装验证

[root@linux123 ~]# sqoop version
~~~     省略了警告 ... ...
Please set $HBASE_HOME to the root of your HBase installation.
Please set $HCAT_HOME to the root of your HCatalog installation.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.
21/08/28 18:34:17 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
~~~     # 测试Sqoop是否能够成功连接数据库
[root@linux123 ~]#  sqoop list-databases --connect \
jdbc:mysql://linux123:3306/?useSSL=false --username hive --password 12345678
... ...
information_schema
hivemetadata
hue
mysql
performance_schema
sys

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor