hadoop实战项目教程 hadoop实验

实验平台：

• 操作系统：Centos7
• Hadoop 版本：2.10.0
• JDK 版本：8

实验目的

• 理解 HDFS 在 Hadoop 体系结构中的角色
• 熟练使用 HDFS 操作常用的 Shell 命令；
• 熟悉 HDFS 操作常用的 Java API

实验内容

一：编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：

1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件

Shell命令:

1. 检查文件是否存在

hadoop fs -test -e text.txt

1. 上传本地文件到HDFS系统的/workspace目录

hadoop fs -put text.txt

1. 追加到文件末尾的指令

hadoop fs -appendToFile local.txt text.txt

1. 查看和对比

hadoop fs -cat text.txt

1. 覆盖原来文件，第一种命令形式

hadoop fs -copyFromLocal -f local.txt test.txt

6. 覆盖原来文件，第二种命令形式

hadoop fs -cp -f file:///home/godfrey/workspace/local.txt text.txt

2.从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名

if $(hadoop fs -test -e /home/godfrey/workspace/text.txt);
then $(hadoop fs -copyToLocal text.txt ./text.txt); 
else $(hadoop fs -copyToLocal text.txt ./text2.txt); 
fi

3.将 HDFS 中指定文件的内容输出到终端中

hadoop fs -cat text.txt

4.显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息

5.给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息

hadoop fs -ls -R -h /

6.提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录

if $(hadoop fs -test -d dir1/dir2);
then $(hadoop fs -touchz dir1/dir2/filename); 
else $(hadoop fs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename); 
fi

hadoop fs -rm dir1/dir2/filename #删除文件

7.提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在，则自动创建相应目录；删除目录时，由用户指定当该目录不为空时是否还删除该目录

创建目录的命令如下：

hadoop fs -mkdir -p dir1/dir2

删除目录的命令如下：

hadoop fs -rmdir dir1/dir2

上述命令执行以后，如果目录非空，则会提示 not empty，删除操作不会执行。如果要
强制删除目录，可以使用如下命令：

hadoop fs -rm -R dir1/dir2

8.向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾

追加到原文件末尾的命令如下：

hadoop fs -appendToFile local.txt text.txt

追加到原文件的开头，在 HDFS 中不存在与这种操作对应的命令，因此，无法使用一条命令来完成。可以先移动到本地进行操作，再进行上传覆盖，具体命令如下：

hadoop fs -get text.txt
echo text.txt >> local.txt
hadoop fs -copyFromLocal -f text.txt text.txt

9.删除 HDFS 中指定的文件

hadoop fs -rm text.txt

10.在HDFS中，将文件从源路径移动到目的路径

hadoop fs -mv text.txt text2.txt

二：编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.*;

public class MyFSDataInputStream extends FSDataInputStream {
  public MyFSDataInputStream(InputStream in) {
    super(in);
  }

  /**
   * 实现按行读取 每次读入一个字符，遇到"\n"结束，返回一行内容
   */
  public static String readline(BufferedReader br) throws IOException {

    char[] data = new char[1024];
    int read = -1;
    int off = 0;
    // 循环执行时，br 每次会从上一次读取结束的位置继续读取
    // 因此该函数里，off 每次都从 0 开始
    while ((read = br.read(data, off, 1)) != -1) {
      if (String.valueOf(data[off]).equals("\n")) {
        off += 1;
        break;
      }
      off += 1;
    }
    if (off > 0) {
      return String.valueOf(data);
    } else {
      return null;
    }
  }

  /**
   * 读取文件内容
   */
  public static void cat(Configuration conf, String remoteFilePath) throws IOException {
    FileSystem fs = FileSystem.get(conf);
    Path remotePath = new Path(remoteFilePath);
    FSDataInputStream in = fs.open(remotePath);
    BufferedReader br = new BufferedReader(new InputStreamReader(in));
    String line = null;
    while ((line = MyFSDataInputStream.readline(br)) != null) {
      System.out.println(line);
    }
    br.close();
    in.close();
    fs.close();
  }

  /**
   * 主函数
   */
  public static void main(String[] args) {
    Configuration conf = new Configuration();
    conf.set("fs.default.name", "hdfs://localhost:9000");
    String remoteFilePath = "/user/hadoop/text.txt"; // HDFS 路径

    try {
      MyFSDataInputStream.cat(conf, remoteFilePath);
    } catch (Exception e) {
      e.printStackTrace();
    }
  }
}

三.查看 Java 帮助手册或其它资料，用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出 HDFS 中指定文件的文本到终端中

import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import java.io.*;
import java.net.URL;

public class HDFSApi {
    static {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }

    /**
     * 主函数
     */
    public static void main(String[] args) throws Exception {
        String remoteFilePath = "hdfs:///user/hadoop/text.txt"; // HDFS 文件
        InputStream in = null;
        try {
            /* 通过 URL 对象打开数据流，从中读取数据 */
            in = new URL(remoteFilePath).openStream();
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }
    }
}

四、演示自带的MapReduce示例(Wordcount)

查看演示的text.txt内容

在HDFS的根目录下新建 input 目录

hadoop fs -mkdir /input

将本地的text.txt文件上传到HDFS的 input 目录下

hadoop fs -put text.txt /input

查看文件是否成功上传到HDFS上面

hadoop fs -ls -R /

运行Wordcount示例程序

hadoop jar /opt/hadoop-2.10.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount /input /output

查看程序运行后产生的文件

hadoop fs -ls -R /

查看程序最终的运行结果

hadoop fs -cat /output/part-r-00000