hadoop 的核心还是 Map-Reduce过程和 hadoop分布式文件系统

 

第一步：定义Map过程

  1. /** 
  2.  * 
  3.  * Description: 
  4.  * 
  5.  * @author charles.wang 
  6.  * @created Mar 12, 2012 1:41:57 PM 
  7.  *  
  8.  */ 
  9. public class MyMap extends Mapper<Object, Text, Text, IntWritable> { 
  10.      
  11.     private static final IntWritable one = new IntWritable(1); 
  12.     private Text word; 
  13.      
  14.      
  15.     public void map(Object key ,Text value,Context context)  
  16.             throws IOException,InterruptedException{ 
  17.          
  18.         String line=value.toString(); 
  19.         StringTokenizer tokenizer = new StringTokenizer(line); 
  20.         while(tokenizer.hasMoreTokens()){ 
  21.             word = new Text(); 
  22.             word.set(tokenizer.nextToken()); 
  23.             context.write(word, one); 
  24.         } 
  25.          
  26.     } 
  27.  
  28. } 

第二步： 定义 Reduce 过程

 

  1. /** 
  2.  * 
  3.  * Description: 
  4.  * 
  5.  * @author charles.wang 
  6.  * @created Mar 12, 2012 1:48:18 PM 
  7.  *  
  8.  */ 
  9. public class MyReduce extends Reducer<Text, IntWritable, Text, IntWritable> { 
  10.      
  11.     public void reduce (Text key,Iterable<IntWritable> values,Context context) 
  12.         throws IOException ,InterruptedException{ 
  13.          
  14.         int sum=0; 
  15.         for(IntWritable val: values){ 
  16.             sum+=val.get(); 
  17.         } 
  18.          
  19.         context.write(key, new IntWritable(sum)); 
  20.     } 
  21.  
  22. } 

 

编写一个Driver 来执行Map-Reduce过程

 

  1. public class MyDriver { 
  2.  
  3.     public static void main(String [] args) throws Exception{ 
  4.             
  5.         Configuration conf = new Configuration(); 
  6.         conf.set("hadoop.job.ugi", "root,root123"); 
  7.          
  8.         Job job = new Job(conf,"Hello,hadoop! ^_^"); 
  9.          
  10.         job.setJarByClass(MyDriver.class); 
  11.         job.setMapOutputKeyClass(Text.class); 
  12.         job.setMapOutputValueClass(IntWritable.class); 
  13.         job.setMapperClass(MyMap.class); 
  14.         job.setCombinerClass(MyReduce.class); 
  15.         job.setReducerClass(MyReduce.class); 
  16.         job.setInputFormatClass(TextInputFormat.class); 
  17.         job.setOutputFormatClass(TextOutputFormat.class); 
  18.          
  19.         FileInputFormat.setInputPaths(job, new Path(args[0])); 
  20.         FileOutputFormat.setOutputPath(job,new Path(args[1])); 
  21.          
  22.         job.waitForCompletion(true); 
  23.     } 
  24. }