我们需要从官网下载hadoop 我自己下载的是最新的版本 hadoop 2.7.1。
下载完成后就开始安装了:
sudo tar xzf hadoop-2.7.1.tar.gz 命令将文件解压缩。在 /usr/local 目录下创建一个 hadoop 文件夹,然后将文件拷贝到这里来。
sudo mv hadoop-2.7.1 /usr/local/hadoop
赋予用户对该文件夹的读写权限:sudo chmod 774 /usr/local/hadoop。
配置
(1)配置 ~/.bashrc
配置该文件要知道Java的安装的路径,以便设置环境变量。可使用如下命令查看安装路径:
update-alternatives - -config java 这个是我的机器上的Java安装路径
找到路径之后就可以开始配置文件:sudo gedit ~/.bashrc
打开编辑窗口,在文件末尾添加下列内容,然后保存退出。
(2)配置 JAVA_HOME 变量
/usr/local/hadoop/etc/hadoop/hadoop-env.sh :
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
修改JAVA_HOME变量如下图:
配置 core-site.xml
/usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息。
编辑器中打开该文件,并进行如下修改:
配置 yarn-site.xml
/usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce启动时的配置信息。
打开方式同上,然后添加以下内容:
创建和配置 mapred-site.xml
默认情况下,/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件,我们要复制该文件,并命名为mapred.xml,该文件用于指定MapReduce使用的框架。
复制并重命名:cp mapred-site.xml.template mapred-site.xml
编辑器打开此新建文件,并添加以下内容:
配置 hdfs-site.xml
/usr/local/hadoop/etc/hadoop/hdfs-site.xml用来配置集群中每台主机都可用,指定主机上作为namenode和datanode的目录。
首先在 /usr/local/hadoop 目录下文件夹 hdfs,然后在 hdfs 目录下创建 name 和 data 两个文件夹。
你也可以在别的路径下创建上图的文件夹,名称也可以与上图不同,但是需要和hdfs-site.xml中的配置一致。
hdfs-site.xml ,增加以下内容:
通过上面的步骤,配置基本就完成了,然后需要格式化 hdfs:hdfs namenode -format ,只需执行一次即可。
启动Hadoop
经过上文所描述配置和操作后,下面就可以启动这个单节点的集群
执行启动命令:sbin/start-dfs.sh执行该命令时,如果有yes /no提示,输入yes,回车即可。
接下来,执行:sbin/start-yarn.sh执行完这两个命令后,Hadoop会启动并运行。
执行 jps命令,会看到Hadoop相关的进程,如下图:
浏览器打开 http://localhost:50070/,会看到hdfs管理页面
浏览器打开http://localhost:8088,会看到hadoop进程管理页面