mapreduce框架詳解

來自：http://www.cnblogs.com/sharpxiajun/p/3151395.html

　開始聊mapreduce，mapreduce是hadoop的計算框架，我學hadoop是從hive開始入手，再到hdfs，當我學習hdfs時候，就感覺到hdfs和mapreduce關係的緊密。這個可能是我做技術研究的思路有關，我開始學習某一套技術總是想著這套技術到底能幹什麼，只有當我真正理解了這套技術解決了什麼問題時候，我後續的學習就能逐步的加快，而學習hdfs時候我就發現，要理解hadoop框架的意義，hdfs和mapreduce是密不可分，所以當我寫分散式檔案系統時候，總是感覺自己的理解膚淺，今天我開始寫mapreduce了，今天寫文章時候比上週要進步多，不過到底能不能寫好本文了，只有試試再說了。

　　Mapreduce初析

　　Mapreduce是一個計算框架，既然是做計算的框架，那麼表現形式就是有個輸入（input），mapreduce操作這個輸入（input），通過本身定義好的計算模型，得到一個輸出（output），這個輸出就是我們所需要的結果。

　　我們要學習的就是這個計算模型的執行規則。在執行一個mapreduce計算任務時候，任務過程被分為兩個階段：map階段和reduce階段，每個階段都是用鍵值對（key/value）作為輸入（input）和輸出（output）。而程式設計師要做的就是定義好這兩個階段的函式：map函式和reduce函式。

　　Mapreduce的基礎例項

　　講解mapreduce執行原理前，首先我們看看mapreduce裡的hello world例項WordCount,這個例項在任何一個版本的hadoop安裝程式裡都會有，大家很容易找到，這裡我還是貼出程式碼，便於我後面的講解，程式碼如下：

　　如何執行它，這裡不做累述了，大夥可以百度下，網上這方面的資料很多。這裡的例項程式碼是使用新的api，大家可能在很多書籍裡看到講解mapreduce的WordCount例項都是老版本的api，這裡我不給出老版本的api，因為老版本的api不太建議使用了，大家做開發最好使用新版本的api，新版本api和舊版本api有區別在哪裡：

1. 新的api放在：org.apache.hadoop.mapreduce,舊版api放在：org.apache.hadoop.mapred
2. 新版api使用虛類，而舊版的使用的是介面，虛類更加利於擴充套件，這個是一個經驗，大家可以好好學習下hadoop的這個經驗。

　　其他還有很多區別，都是說明新版本api的優勢，因為我提倡使用新版api，這裡就不講這些，因為沒必要再用舊版本，因此這種比較也沒啥意義了。

　　下面我對程式碼做簡單的講解，大家看到要寫一個mapreduce程式，我們的實現一個map函式和reduce函式。我們看看map的方法：

public void map(Object key, Text value, Context context) throws IOException, InterruptedException {…}

　　這裡有三個引數，前面兩個Object key, Text value就是輸入的key和value，第三個引數Context context這是可以記錄輸入的key和value，例如：context.write(word, one);此外context還會記錄map運算的狀態。

　　對於reduce函式的方法：

public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {…}

　　reduce函式的輸入也是一個key/value的形式，不過它的value是一個迭代器的形式Iterable<IntWritable> values，也就是說reduce的輸入是一個key對應一組的值的value，reduce也有context和map的context作用一致。

　　至於計算的邏輯就是程式設計師自己去實現了。

　　下面就是main函式的呼叫了，這個我要詳細講述下，首先是：

Configuration conf = new Configuration();

　　執行mapreduce程式前都要初始化Configuration，該類主要是讀取mapreduce系統配置資訊，這些資訊包括hdfs還有mapreduce，也就是安裝hadoop時候的配置檔案例如：core-site.xml、hdfs-site.xml和mapred-site.xml等等檔案裡的資訊，有些童鞋不理解為啥要這麼做，這個是沒有深入思考mapreduce計算框架造成，我們程式設計師開發mapreduce時候只是在填空，在map函式和reduce函式裡編寫實際進行的業務邏輯，其它的工作都是交給mapreduce框架自己操作的，但是至少我們要告訴它怎麼操作啊，比如hdfs在哪裡啊，mapreduce的jobstracker在哪裡啊，而這些資訊就在conf包下的配置檔案裡。

　　接下來的程式碼是：

    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    if (otherArgs.length != 2) {
      System.err.println("Usage: wordcount <in> <out>");
      System.exit(2);
    }

　　If的語句好理解，就是執行WordCount程式時候一定是兩個引數，如果不是就會報錯退出。至於第一句裡的GenericOptionsParser類，它是用來解釋常用hadoop命令，並根據需要為Configuration物件設定相應的值，其實平時開發裡我們不太常用它，而是讓類實現Tool介面，然後再main函式裡使用ToolRunner執行程式，而ToolRunner內部會呼叫GenericOptionsParser。

　　接下來的程式碼是：

    Job job = new Job(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);

　　第一行就是在構建一個job，在mapreduce框架裡一個mapreduce任務也叫mapreduce作業也叫做一個mapreduce的job，而具體的map和reduce運算就是task了，這裡我們構建一個job，構建時候有兩個引數，一個是conf這個就不累述了，一個是這個job的名稱。

　　第二行就是裝載程式設計師編寫好的計算程式，例如我們的程式類名就是WordCount了。這裡我要做下糾正，雖然我們編寫mapreduce程式只需要實現map函式和reduce函式，但是實際開發我們要實現三個類，第三個類是為了配置mapreduce如何執行map和reduce函式，準確的說就是構建一個mapreduce能執行的job了，例如WordCount類。

　　第三行和第五行就是裝載map函式和reduce函式實現類了，這裡多了個第四行，這個是裝載Combiner類，這個我後面講mapreduce執行機制時候會講述，其實本例去掉第四行也沒有關係，但是使用了第四行理論上執行效率會更好。

　　接下來的程式碼：

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);

　　這個是定義輸出的key/value的型別，也就是最終儲存在hdfs上結果檔案的key/value的型別。

　　最後的程式碼是：

    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);

　　第一行就是構建輸入的資料檔案，第二行是構建輸出的資料檔案，最後一行如果job執行成功了，我們的程式就會正常退出。FileInputFormat和FileOutputFormat是很有學問的，我會在下面的mapreduce執行機制裡講解到它們。

　　好了，mapreduce裡的hello word程式講解完畢，我這個講解是從新辦api進行，這套講解在網路上還是比較少的，應該很具有代表性的。

　　Mapreduce執行機制

　　下面我要講講mapreduce的執行機制了，前不久我為公司出了一套hadoop面試題，裡面就問道了mapreduce執行機制，出題時候我發現這個問題我自己似乎也將不太清楚，因此最近幾天惡補了下，希望在本文裡能說清楚這個問題。

　　下面我貼出幾張圖，這些圖都是我在百度圖片裡找到的比較好的圖片：

　　圖片一：

　　圖片二：

　　圖片三：

　　圖片四：

　　圖片五：

　　圖片六：

　　我現在學習技術很喜歡看圖，每次有了新理解就會去看看圖，每次都會有新的發現。

　　談mapreduce執行機制，可以從很多不同的角度來描述，比如說從mapreduce執行流程來講解，也可以從計算模型的邏輯流程來進行講解，也許有些深入理解了mapreduce執行機制還會從更好的角度來描述，但是將mapreduce執行機制有些東西是避免不了的，就是一個個參入的例項物件，一個就是計算模型的邏輯定義階段，我這裡講解不從什麼流程出發，就從這些一個個牽涉的物件，不管是物理實體還是邏輯實體。

　　首先講講物理實體，參入mapreduce作業執行涉及4個獨立的實體：

1. 客戶端（client）：編寫mapreduce程式，配置作業，提交作業，這就是程式設計師完成的工作；
2. JobTracker：初始化作業，分配作業，與TaskTracker通訊，協調整個作業的執行；
3. TaskTracker：保持與JobTracker的通訊，在分配的資料片段上執行Map或Reduce任務，TaskTracker和JobTracker的不同有個很重要的方面，就是在執行任務時候TaskTracker可以有n多個，JobTracker則只會有一個（JobTracker只能有一個就和hdfs裡namenode一樣存在單點故障，我會在後面的mapreduce的相關問題裡講到這個問題的）
4. Hdfs：儲存作業的資料、配置資訊等等，最後的結果也是儲存在hdfs上面

　　那麼mapreduce到底是如何執行的呢？

　　首先是客戶端要編寫好mapreduce程式，配置好mapreduce的作業也就是job，接下來就是提交job了，提交job是提交到JobTracker上的，這個時候JobTracker就會構建這個job，具體就是分配一個新的job任務的ID值，接下來它會做檢查操作，這個檢查就是確定輸出目錄是否存在，如果存在那麼job就不能正常執行下去，JobTracker會丟擲錯誤給客戶端，接下來還要檢查輸入目錄是否存在，如果不存在同樣丟擲錯誤，如果存在JobTracker會根據輸入計算輸入分片（Input Split），如果分片計算不出來也會丟擲錯誤，至於輸入分片我後面會做講解的，這些都做好了JobTracker就會配置Job需要的資源了。分配好資源後，JobTracker就會初始化作業，初始化主要做的是將Job放入一個內部的佇列，讓配置好的作業排程器能排程到這個作業，作業排程器會初始化這個job，初始化就是建立一個正在執行的job物件（封裝任務和記錄資訊），以便JobTracker跟蹤job的狀態和程式。初始化完畢後，作業排程器會獲取輸入分片資訊（input split），每個分片建立一個map任務。接下來就是任務分配了，這個時候tasktracker會執行一個簡單的迴圈機制定期傳送心跳給jobtracker，心跳間隔是5秒，程式設計師可以配置這個時間，心跳就是jobtracker和tasktracker溝通的橋樑，通過心跳，jobtracker可以監控tasktracker是否存活，也可以獲取tasktracker處理的狀態和問題，同時tasktracker也可以通過心跳裡的返回值獲取jobtracker給它的操作指令。任務分配好後就是執行任務了。在任務執行時候jobtracker可以通過心跳機制監控tasktracker的狀態和進度，同時也能計算出整個job的狀態和進度，而tasktracker也可以本地監控自己的狀態和進度。當jobtracker獲得了最後一個完成指定任務的tasktracker操作成功的通知時候，jobtracker會把整個job狀態置為成功，然後當客戶端查詢job執行狀態時候（注意：這個是非同步操作），客戶端會查到job完成的通知的。如果job中途失敗，mapreduce也會有相應機制處理，一般而言如果不是程式設計師程式本身有bug，mapreduce錯誤處理機制都能保證提交的job能正常完成。

　　下面我從邏輯實體的角度講解mapreduce執行機制，這些按照時間順序包括：輸入分片（input split）、map階段、combiner階段、shuffle階段和reduce階段。

1. 輸入分片（input split）：在進行map計算之前，mapreduce會根據輸入檔案計算輸入分片（input split），每個輸入分片（input split）針對一個map任務，輸入分片（input split）儲存的並非資料本身，而是一個分片長度和一個記錄資料的位置的陣列，輸入分片（input split）往往和hdfs的block（塊）關係很密切，假如我們設定hdfs的塊的大小是64mb，如果我們輸入有三個檔案，大小分別是3mb、65mb和127mb，那麼mapreduce會把3mb檔案分為一個輸入分片（input split），65mb則是兩個輸入分片（input split）而127mb也是兩個輸入分片（input split），換句話說我們如果在map計算前做輸入分片調整，例如合併小檔案，那麼就會有5個map任務將執行，而且每個map執行的資料大小不均，這個也是mapreduce優化計算的一個關鍵點。
2. map階段：就是程式設計師編寫好的map函式了，因此map函式效率相對好控制，而且一般map操作都是本地化操作也就是在資料儲存節點上進行；
3. combiner階段：combiner階段是程式設計師可以選擇的，combiner其實也是一種reduce操作，因此我們看見WordCount類裡是用reduce進行載入的。Combiner是一個本地化的reduce操作，它是map運算的後續操作，主要是在map計算出中間檔案前做一個簡單的合併重複key值的操作，例如我們對檔案裡的單詞頻率做統計，map計算時候如果碰到一個hadoop的單詞就會記錄為1，但是這篇文章裡hadoop可能會出現n多次，那麼map輸出檔案冗餘就會很多，因此在reduce計算前對相同的key做一個合併操作，那麼檔案會變小，這樣就提高了寬頻的傳輸效率，畢竟hadoop計算力寬頻資源往往是計算的瓶頸也是最為寶貴的資源，但是combiner操作是有風險的，使用它的原則是combiner的輸入不會影響到reduce計算的最終輸入，例如：如果計算只是求總數，最大值，最小值可以使用combiner，但是做平均值計算使用combiner的話，最終的reduce計算結果就會出錯。
4. shuffle階段：將map的輸出作為reduce的輸入的過程就是shuffle了，這個是mapreduce優化的重點地方。這裡我不講怎麼優化shuffle階段，講講shuffle階段的原理，因為大部分的書籍裡都沒講清楚shuffle階段。Shuffle一開始就是map階段做輸出操作，一般mapreduce計算的都是海量資料，map輸出時候不可能把所有檔案都放到記憶體操作，因此map寫入磁碟的過程十分的複雜，更何況map輸出時候要對結果進行排序，記憶體開銷是很大的，map在做輸出時候會在記憶體裡開啟一個環形記憶體緩衝區，這個緩衝區專門用來輸出的，預設大小是100mb，並且在配置檔案裡為這個緩衝區設定了一個閥值，預設是0.80（這個大小和閥值都是可以在配置檔案裡進行配置的），同時map還會為輸出操作啟動一個守護執行緒，如果緩衝區的記憶體達到了閥值的80%時候，這個守護執行緒就會把內容寫到磁碟上，這個過程叫spill，另外的20%記憶體可以繼續寫入要寫進磁碟的資料，寫入磁碟和寫入記憶體操作是互不干擾的，如果快取區被撐滿了，那麼map就會阻塞寫入記憶體的操作，讓寫入磁碟操作完成後再繼續執行寫入記憶體操作，前面我講到寫入磁碟前會有個排序操作，這個是在寫入磁碟操作時候進行，不是在寫入記憶體時候進行的，如果我們定義了combiner函式，那麼排序前還會執行combiner操作。每次spill操作也就是寫入磁碟操作時候就會寫一個溢位檔案，也就是說在做map輸出有幾次spill就會產生多少個溢位檔案，等map輸出全部做完後，map會合並這些輸出檔案。這個過程裡還會有一個Partitioner操作，對於這個操作很多人都很迷糊，其實Partitioner操作和map階段的輸入分片（Input split）很像，一個Partitioner對應一個reduce作業，如果我們mapreduce操作只有一個reduce操作，那麼Partitioner就只有一個，如果我們有多個reduce操作，那麼Partitioner對應的就會有多個，Partitioner因此就是reduce的輸入分片，這個程式設計師可以程式設計控制，主要是根據實際key和value的值，根據實際業務型別或者為了更好的reduce負載均衡要求進行，這是提高reduce效率的一個關鍵所在。到了reduce階段就是合併map輸出檔案了，Partitioner會找到對應的map輸出檔案，然後進行復制操作，複製操作時reduce會開啟幾個複製執行緒，這些執行緒預設個數是5個，程式設計師也可以在配置檔案更改複製執行緒的個數，這個複製過程和map寫入磁碟過程類似，也有閥值和記憶體大小，閥值一樣可以在配置檔案裡配置，而記憶體大小是直接使用reduce的tasktracker的記憶體大小，複製時候reduce還會進行排序操作和合並檔案操作，這些操作完了就會進行reduce計算了。
5. reduce階段：和map函式一樣也是程式設計師編寫的，最終結果是儲存在hdfs上的。

　　Mapreduce的相關問題

　　這裡我要談談我學習mapreduce思考的一些問題，都是我自己想出解釋的問題，但是某些問題到底對不對，就要廣大童鞋幫我確認了。

1. jobtracker的單點故障：jobtracker和hdfs的namenode一樣也存在單點故障，單點故障一直是hadoop被人詬病的大問題，為什麼hadoop的做的檔案系統和mapreduce計算框架都是高容錯的，但是最重要的管理節點的故障機制卻如此不好，我認為主要是namenode和jobtracker在實際執行中都是在記憶體操作，而做到記憶體的容錯就比較複雜了，只有當記憶體資料被持久化後容錯才好做，namenode和jobtracker都可以備份自己持久化的檔案，但是這個持久化都會有延遲，因此真的出故障，任然不能整體恢復，另外hadoop框架裡包含zookeeper框架，zookeeper可以結合jobtracker，用幾臺機器同時部署jobtracker，保證一臺出故障，有一臺馬上能補充上，不過這種方式也沒法恢復正在跑的mapreduce任務。
2. 做mapreduce計算時候，輸出一般是一個資料夾，而且該資料夾是不能存在，我在出面試題時候提到了這個問題，而且這個檢查做的很早，當我們提交job時候就會進行，mapreduce之所以這麼設計是保證資料可靠性，如果輸出目錄存在reduce就搞不清楚你到底是要追加還是覆蓋，不管是追加和覆蓋操作都會有可能導致最終結果出問題，mapreduce是做海量資料計算，一個生產計算的成本很高，例如一個job完全執行完可能要幾個小時，因此一切影響錯誤的情況mapreduce是零容忍的。
3. Mapreduce還有一個InputFormat和OutputFormat，我們在編寫map函式時候發現map方法的引數是之間操作行資料，沒有牽涉到InputFormat，這些事情在我們new Path時候mapreduce計算框架幫我們做好了，而OutputFormat也是reduce幫我們做好了，我們使用什麼樣的輸入檔案，就要呼叫什麼樣的InputFormat，InputFormat是和我們輸入的檔案型別相關的，mapreduce裡常用的InputFormat有FileInputFormat普通文字檔案，SequenceFileInputFormat是指hadoop的序列化檔案，另外還有KeyValueTextInputFormat。OutputFormat就是我們想最終儲存到hdfs系統上的檔案格式了，這個根據你需要定義了，hadoop有支援很多檔案格式，這裡不一一列舉，想知道百度下就看到了。

　　好了，文章寫完了，呵呵，這篇我自己感覺寫的不錯，是目前hadoop系列文章裡寫的最好的，我後面會再接再厲的。加油！！！