MapReduce模型講解

本篇文章是總結官方文件給出的MapReduce程式設計模型
Input and Output types of a MapReduce job:
(input)<k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3>(output)

MapReduce 講解
新的MapReduce使用 mapreduce包下的類進行mapreduce job的編寫

1. Mapper
   應用通過使用 Counter來報告統計資料

   與給定輸出鍵相關的所有中間值由框架分組，並傳遞到 Reducer來確定最終的輸出。使用者可以通過指定Comparator 來控制分組，
   設定如下： job.setGroupingComparatorClass(Class)

   Mapper的輸出經過排好序後分割槽到每一個Reducer。總共的分割槽數量是與reducer的個數是相同的。使用者可以控制哪一個key去哪一個Reducer通過實現一個通用的 Partitioner

   使用者可以選擇一個特定的 combiner，通過如下設定： Job.setCombinerClass(Class), 通過執行中間輸出的本地聚合，將會有效的降低從Mapper到Reducer的資料輸出。

   這些中間值，輸出排序總是被簡單的格式化。程式可以控制，這些中間值的輸出可以被 compressed 並且這個編碼格式可以在Configuration中控制。

   Maps數量的控制，基本上一個hdfs的block分配一個mapper， 但是可以控制Mapper的數量，通過如下配置： Configuration.set(MRJobConfig.NUM_MAPS, int)

2 Reducer
在Job中設定 Reducer的實現類，通過如下設定：Job.setReducerClass(Class)
設定Reducer的數量，通過如下設定： Job.setNumReduceTasks(int)

Reducer有三個主要的階段： shuffle， sort 和 reduce
shuffle
reducer的輸入是mapper中排好序的輸出，在這個階段，框架抓取所有mapper的輸出的相關分割槽，通過HTTP
sort
在此階段，框架將key進行分組（不同的mapper可能輸出相同的key）
shuffle和sort同時發生，當mapper輸出被獲取時，他們被合併為 key, list<>
reduce
在這個階段，呼叫reduce方法。 典型的會輸出到檔案系統，通過 context.write(WritableComparable, Writable).
應用將會使用 Counter（計數器） 進行統計
輸出的資料是不排序的。

可以將 Reducer的數量設定為0
在這種情況下，mapper的task將會直接將結果寫入到檔案系統中。

Partitioner
Partitioner 控制這些key（map-outputs）是如何進行分割槽的, 一般來說，會對key呼叫hash函式來進行分割槽。。分割槽的數量是和reduce的數量是相同的。
HashPartitioner是預設的分割槽類

Job Configuration
Job 代表了一個 MapReduce任務的配置
Job 一般用來配置 Mapper類，combiner，Partitioner, Reducer, InputFormat, OutputFormat.
使用者也可以使用 Configuration.set(String, String)/Configuration.get(String)來設定/獲取屬性引數在應用中需要用的到的。

當有大量的資料需要設定/獲取時，通過DistributeCache來進行設定大量的只讀資料。

JOb Input
InputFormat 描述了輸入的規範在一個Mapreduce Job中
TextInputFormat是預設的InputFormat

InputSplit
InputSplit 表示這個一個mapper的被處理的資料。
RecordReader
RecordReader 用來在InputSplit中讀<key, value>

Job Output
OutputFormat 描述了在一個Mapreduce中輸出的規範
TextOutputFormat是預設的OutputFormat

OutputCommitter
OutputCommitter 描述了在MapReduce 任務中如何提交 task的輸出
RecordWriter
RecordWrite將輸出<key, value> 寫入到輸出檔案中