Hadoop实验报告心得

概述

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它提供了可靠性、可扩展性和容错性，使得处理大数据变得更加高效。在本次实验中，我们学习了Hadoop的基本概念和使用方法，并进行了一些简单的实验。

Hadoop的基本概念

Hadoop由两个核心组件组成：HDFS（Hadoop分布式文件系统）和MapReduce。HDFS是一个分布式文件系统，用于存储大规模数据集，并提供了高容错性。MapReduce是一种编程模型，用于将数据分解为不同的块，并在集群中并行处理。

实验步骤

在本次实验中，我们将使用Hadoop来统计一个文本文件中单词的数量。

步骤一：文件准备

首先，我们需要准备一个文本文件，该文件包含了待统计的单词。假设我们的文件名为input.txt，内容如下：

Hello Hadoop
Hello MapReduce
Hello World

步骤二：上传文件到HDFS

下一步是将文件上传到HDFS中。我们可以使用以下命令将文件上传到HDFS的根目录下：

$ hdfs dfs -put input.txt /

步骤三：编写MapReduce程序

接下来，我们需要编写一个MapReduce程序来统计单词数量。在Hadoop中，Map函数负责将输入数据拆分为键值对，而Reduce函数负责对这些键值对进行处理。

import java.io.IOException;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
  public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{
    
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
    
    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
  
  public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();
    
    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }
  
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

步骤四：编译和打包程序

在编写完程序后，我们需要将其编译并打包成一个可执行的JAR文件。假设我们的程序文件名为WordCount.java，可以使用以下命令进行编译：

$ javac -classpath $HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.7.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.7.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar -d wordcount_classes WordCount.java

然后，使用以下命令将程序打包成JAR文件：

$ jar -cvf wordcount.jar -C wordcount_classes/ .

步骤五：运行MapReduce程序

最后一步是运行MapReduce程序。我们可以使用以下命令来执行刚刚打包的JAR文件：

$ hadoop jar wordcount.jar WordCount /input.txt /output