Hadoop就是一個實現了Google雲端計算系統的開源系統，包括平行計算模型Map/Reduce，分散式檔案系統HDFS，以及分散式資料庫Hbase，同時Hadoop的相關專案也很豐富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等.
執行流程：
外部程式定時把檔案複製到 hadoop 的 hdfs 裡去， 然後再時執行 map 和 reduce 對資料進行分析
Map 是把要處理的資料鍵值化， Reduce 對鍵值資料進行彙總處理。
1.MapReduce庫先把user program的輸入檔案劃分為M份（M為使用者定義），每一份通常有16MB到64MB，如圖左方所示分成了split0~4；然後使用fork將使用者程式拷貝到叢集內其它機器上。
2.user program的副本中有一個稱為master，其餘稱為worker，master是負責排程的，為空閒worker分配作業（Map作業或者Reduce作業），worker的數量也是可以由使用者指定的。
3.被分配了Map作業的worker，開始讀取對應分片的輸入資料，Map作業數量是由M決定的，和split一一對應；Map作業從輸入資料中抽取出鍵值對，每一個鍵值對都作為引數傳遞給map函式，map函式產生的中間鍵值對被快取在記憶體中。
4.快取的中間鍵值對會被定期寫入本地磁碟，而且被分為R個區，R的大小是由使用者定義的，將來每個區會對應一個Reduce作業；這些中間鍵值對的位置會被通報給master，master負責將資訊轉發給Reduce worker。
5.master通知分配了Reduce作業的worker它負責的分割槽在什麼位置（肯定不止一個地方，每個Map作業產生的中間鍵值對都可能對映到所有R個不同分割槽），當Reduce worker把所有它負責的中間鍵值對都讀過來後，先對它們進行排序，使得相同鍵的鍵值對聚集在一起。因為不同的鍵可能會對映到同一個分割槽也就是同一個Reduce作業（誰讓分割槽少呢），所以排序是必須的。
6.reduce worker遍歷排序後的中間鍵值對，對於每個唯一的鍵，都將鍵與關聯的值傳遞給reduce函式，reduce函式產生的輸出會新增到這個分割槽的輸出檔案中。
6.當所有的Map和Reduce作業都完成了，master喚醒正版的user program，MapReduce函式呼叫返回user program的程式碼。
所有執行完畢後，MapReduce輸出放在了R個分割槽的輸出檔案中（分別對應一個Reduce作業）。使用者通常並不需要合併這R個檔案，而是將其作為輸入交給另一個MapReduce程式處理。整個過程中，輸入資料是來自底層分散式檔案系統（GFS）的，中間資料是放在本地檔案系統的，最終輸出資料是寫入底層分散式檔案系統（GFS）的。而且我們要注意Map/Reduce作業和map/reduce函式的區別：Map作業處理一個輸入資料的分片，可能需要呼叫多次map函式來處理每個輸入鍵值對；Reduce作業處理一個分割槽的中間鍵值對，期間要對每個不同的鍵呼叫一次reduce函式，Reduce作業最終也對應一個輸出檔案。