大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—​​不温不火​​​,本意是​​希望自己性情温和​​​。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教! ​


  此篇为大家带来的是Sqoop的简单介绍及安装解析。


所需文档等博主已经打包到百度云,如有需要请自行提取:
链接:​​https://pan.baidu.com/s/1QVJMj1JHQR80UDfqOGrTYw​​ 提取码:pnxs



目录


Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_sqoop

1. Sqoop的简单介绍

  Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

  Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。

Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_mysql_02

2. sqoop1与sqoop2架构对比

  • 1. sqoop1架构
    Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_mysql_03
  • sqoop2架构
    Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_mysql_04

3. Sqoop原理

  将导入或导出命令翻译成mapreduce程序来实现。

  在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

4. Sqoop的安装过程

1. 上传并解压

  • 1. 上传文档
    Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_mysql_05
  • 2. 解压sqoop安装包到指定目录
[bigdata@hadoop002 software]$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

// 修改文件夹名称
[bigdata@hadoop002 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_sqoop_06

2. 修改配置文件

Sqoop的配置文件与大多数大数据框架类似,在sqoop根目录下的conf目录中

  • 1. 重命名配置文件
[bigdata@hadoop002 conf]$ mv sqoop-env-template.sh sqoop-env.sh

Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_hadoop_07

  • 2. 修改配置文件
[bigdata@hadoop002 conf]$ vim sqoop-env.sh 


export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10
export HBASE_HOME=/opt/module/hbase

Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_大数据_08

3. 拷贝JDBC驱动

拷贝jdbc驱动到sqoop的lib目录下

// 声明: 驱动在/opt/software/mysql-libs/mysql-connector-java-5.1.27/

[bigdata@hadoop002 mysql-connector-java-5.1.27]$ cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/

4. 验证Sqoop

  • 我们可以通过某一个command来验证sqoop配置是否正确
[bigdata@hadoop002 sqoop]$ bin/sqoop help

Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_sqoop_09

5. 测试Sqoop是否能够成功连接数据库

[bigdata@hadoop002 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop002:3306 --username root --password 199712

Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_sqoop_10

  本次的分享就到这里了,


Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析_大数据_11


  好书不厌读百回,熟读课思子自知。而我想要成为全场最靓的仔,就必须坚持通过学习来获取更多知识,用知识改变命运,用博客见证成长,用行动证明我在努力。
  如果我的博客对你有帮助、如果你喜欢我的博客内容,请​​“点赞” “评论”“收藏”​​一键三连哦!听说点赞的人运气不会太差,每一天都会元气满满呦!如果实在要白嫖的话,那祝你开心每一天,欢迎常来我博客看看。
  码字不易,大家的支持就是我坚持下去的动力。点赞后不要忘了​​关注​​我哦!