mapreduce '找共同朋友'，面試題

破棉襖發表於2015-03-02
面試題
mapred找共同朋友，資料格式如下： 

A B C D E F
B A C D E
C A B E
D A B E
E A B C D
F A

第一字母表示本人，其他是他的朋友，找出有共同朋友的人，和共同朋友是誰

答案如下： 
  1. package wzx.mr3;
    import java.io.IOException;
    import java.util.Set;
    import java.util.StringTokenizer;
    import java.util.TreeSet;


    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.Mapper;
    import org.apache.hadoop.mapreduce.Reducer;
    import org.apache.hadoop.mapreduce.Mapper.Context;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    import org.apache.hadoop.util.GenericOptionsParser;


    public class FindFriend {
            
              public static class ChangeMapper extends Mapper{                      
                       @Override
                       public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
                                
                      StringTokenizer itr = new StringTokenizer(value.toString());
                           Text owner = new Text();
                           Set set = new TreeSet();
                                 owner.set(itr.nextToken());
                                 while (itr.hasMoreTokens()) {
                                         set.add(itr.nextToken());
                                 }             
                                 String[] friends = new String[set.size()];
                                 friends = set.toArray(friends);
                                 
                                 for(int i=0;i                                      for(int j=i+1;j                                              String outputkey = friends[i]+friends[j];
                                                 System.out.println(new Text(outputkey)+"----"+owner);
                                                 context.write(new Text(outputkey),owner);
                                         }                                     
                                 }
                       }
              }
              
              public static class FindReducer extends Reducer {                          
                            public void reduce(Text key, Iterable values, 
                                            Context context) throws IOException, InterruptedException {
                                      String  commonfriends =""; 
                                  for (Text val : values) {
                                      if(commonfriends == ""){
                                              commonfriends = val.toString();
                                      }else{
                                              commonfriends = commonfriends+":"+val.toString();
                                      }
                                   }
                                  context.write(key, new Text(commonfriends));                                
                            }                          
              }
              


            public static void main(String[] args) throws IOException,
            InterruptedException, ClassNotFoundException {
                    
                Configuration conf = new Configuration();
                args = new String[2];
       
        args[0] = "hdfs://192.168.0.237:9000/usr/wzx/input2/cs1.txt";
        args[1] = "hdfs://192.168.0.237:9000/usr/wzx/output2";
       
                Job job = new Job(conf, "word count");
                job.setJarByClass(FindFriend.class);
                job.setMapperClass(ChangeMapper.class);
                job.setCombinerClass(FindReducer.class);
                job.setReducerClass(FindReducer.class);
                job.setOutputKeyClass(Text.class);
                job.setOutputValueClass(Text.class);
                for (int i = 0; i < args.length - 1; ++i) {
                  FileInputFormat.addInputPath(job, new Path(args[i]));
                }
                FileOutputFormat.setOutputPath(job,
                  new Path(args[args.length - 1]));
                System.exit(job.waitForCompletion(true) ? 0 : 1);
                    
            }


    }





來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29754888/viewspace-1445561/，如需轉載，請註明出處，否則將追究法律責任。

相關文章