Ubuntu安装Hadoop集群和hive ubuntu 安装hadoop

ubuntu安装(这里我就不一一捉图了，只引用一个网址， 相信大家能力)

ubuntu安装参考教程:  http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html

注意下面几点：

1、设置虚拟机的IP， 点击虚拟机的右下角网络连接图标， 选择”桥接模式“， 这样才能分配到你的局域网IP， 这个很重要因为后面hadoop要用到局域网。

2、在ubuntu里面查看ip的命令：ifconfig可以显示出你的IP地址， 看一下IP是否为你的局域网IP地址。

3、ubuntu设置中文，在左侧工具栏上点击系统设置那个齿轮-->language support 在这个界面上可以选择add/del language进去找到中文的选项勾上， 点安装完成后在语言列表里就有汉语(中国），如果是灰色在最下面的选项，用鼠标按着这个项拖到最上面就是黑色的，选择应用到全局再重启。

4、ubuntu不像windows那样人性化， 啥安装的软件都在开始菜单里， 当然也可以安装这个插件， 但我认为不需要那么麻烦啦，因为在左侧工具栏最上面那个三点圈， 可以搜出你所有的已安装程序， 个人建议自己下载的软件就放到home下面的一个文件夹就好。

5、ubuntu按crtl+alt+t打开终端， 如果不是root账号系统除了home文件夹下其它地方很少权限的， 记得如果你的文件夹不在home下， 就要用终端chmod命令修改权限， 不然会出错。

 

Java安装

sudo apt-get install openjdk7 这样的命令安装最好， 当然也可以下载tar.gz包安装， 但需要自己配置java_home等工作， 请大家百度一下。 如果是sudo apt-get这种方式的， 一般会安装在/usr/lib/jvm/这个路径下， 通过终端， 你输入java -version， 如果能显示版本号， 说明安装成功了。

 

SSH安装

sudo apt-get install openssh-server， 至少配置产生密钥这些请大家百度一下。

mysql安装

sudo apt-get install mysql-server， 安装然后安装个mysql workbench这样的类似客户端的平台， 方便你可视化操作mysql

 

hadoop安装与配置

下载hadoop1.2.1的tar.gz包，解压后把文件夹改名为hadoop，  复制一份到/usr/local/下面， 如果你当前的账号操作不了local这文件夹， 记得用其它有权限的账号来操作， 最好还是建一个hadoop组再添加一个hadoop账号来操作， 怎添加用户组与用户， 还是通过命令add usergroup/add user这些。 复制完成后， 通过root账号把hadoop文件夹的权限chmod -R 777， 也就是这文件夹下面所有内容对所有人所有权限开放， 测试环境没啥太大关系。

hadoop有三种工作模式：单机，伪分布式， 完全分布式。

单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

伪分布式模式就是一个机器又当主机又当重机， 所有的操作都在一个机器上实现， 这时已经存在HDFS，守护进程这些， 需要配置conf/core-site.xml, hdfs-site.xml, mapred-site.xml, hadoop-env.sh这几个文件。

core-site.xml配置内容如下：

<configuration>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://172.27.27.3:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

第一个节点内容解析就是hdfs就是这个hadoop hdfs系统服务器的地址和端口， 下面节点是hadoop tmp的路径

hdfs-site.xml

<configuration>
  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

第一个节点是工作模式的选择， 如果1就是我们测试用的伪分布模式

mapred-site.xml

<configuration>
  <property>
        <name>mapred.job.tracker</name>
        <value>172.27.27.3:9001</value>
    </property>
</configuration>

 

修改conf/hadooop-env.sh里面的java-home为你的java安装目录

 

 

配置好了这些内容后， 通过终端进到hadoop文件夹， cd /你的路径/ 就可以进到了， 通过bin/start-all.sh启动hadoop服务， bin/stop-all.sh来停止服务。

如果启动成功的，通过jps可以发现有6个进程， 如果启动失败， 请检查你的java JDK是否安装成功， hadoop目录权限， 上面几个文件的设置等。