國外、國內Hadoop的應用現狀

摘要：Hadoop是一個開源的高效雲端計算基礎架構平臺，其不僅僅在雲端計算領域用途廣泛，還可以支撐搜尋引擎服務，作為搜尋引擎底層的基礎架構系統，同時在海量資料處理、資料探勘、機器學習、科學計算等領域都越來越受到青睞。本文將講述國外、國內Hadoop的主要應用現狀。

國外Hadoop的應用現狀

1.Yahoo

Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop機器總節點數目超過42?000個，有超過10萬的核心CPU在執行Hadoop。最大的一個單Master節點叢集有4500個節點（每個節點雙路4核心CPUboxesw，4×1TB磁碟，16GBRAM）。總的叢集儲存容量大於350PB，每月提交的作業數目超過1000萬個，在Pig中超過60%的Hadoop作業是使用Pig編寫提交的。

Yahoo的Hadoop應用主要包括以下幾個方面：

• 支援廣告系統

• 使用者行為分析

• 支援Web搜尋

• 反垃圾郵件系統

• 會員反濫用

• 內容敏捷

• 個性化推薦

同時Pig研究並測試支援超大規模節點叢集的Hadoop系統。

2.Facebook

Facebook使用Hadoop儲存內部日誌與多維資料，並以此作為報告、分析和機器學習的資料來源。目前Hadoop叢集的機器節點超過1400臺，共計11?200個核心CPU，超過15PB原始儲存容量，每個商用機器節點配置了8核CPU，12TB資料儲存，主要使用StreamingAPI和JavaAPI程式設計介面。Facebook同時在Hadoop基礎上建立了一個名為Hive的高階資料倉儲框架，Hive已經正式成為基於Hadoop的Apache一級專案。此外，還開發了HDFS上的FUSE實現。

3.A9.com

A9.com為Amazon使用Hadoop構建了商品搜尋索引，主要使用StreamingAPI以及C++、Perl和Python工具，同時使用Java和StreamingAPI分析處理每日數以百萬計的會話。A9.com為Amazon構建的索引服務執行在100節點左右的Hadoop叢集上。

4.Adobe

Adobe主要使用Hadoop及HBase，同於支撐社會服務計算，以及結構化的資料儲存和處理。大約有超過30個節點的Hadoop-HBase生產叢集。Adobe將資料直接持續地儲存在HBase中，並以HBase作為資料來源執行MapReduce作業處理，然後將其執行結果直接存到HBase或外部系統。Adobe在2008年10月就已經將Hadoop和HBase應用於生產叢集。

5.CbIR

自2008年4月以來，日本的CbIR（Content-basedInformationRetrieval）公司在AmazonEC2上使用Hadoop來構建影像處理環境，用於影像產品推薦系統。使用Hadoop環境生成源資料庫，便於Web應用對其快速訪問，同時使用Hadoop分析使用者行為的相似性。

6.Datagraph

Datagraph主要使用Hadoop批次處理大量的RDF資料集，尤其是利用Hadoop對RDF資料建立索引。Datagraph也使用Hadoop為客戶執行長時間執行的離線SPARQL查詢。Datagraph是使用AmazonS3和Cassandra儲存RDF資料輸入和輸出檔案的，並已經開發了一個基於MapReduce處理RDF資料的Ruby框架——RDFgrid。

Datagraph主要使用Ruby、RDF.rb以及自己開發的RDFgrid框架來處理RDF資料，主要使用HadoopStreaming介面。

7.EBay

單叢集超過532節點叢集，單節點8核心CPU，容量超過5.3PB儲存。大量使用的MapReduce的Java介面、Pig、Hive來處理大規模的資料，還使用HBase進行搜尋最佳化和研究。

8.IBM

IBM藍雲也利用Hadoop來構建雲基礎設施。IBM藍雲使用的技術包括：Xen和PowerVM虛擬化的Linux作業系統映像及Hadoop並行工作量排程，併發布了自己的Hadoop發行版及大資料解決方案。

9.Last.Fm

Last.Fm主要用於圖表計算、專利申報、日誌分析、A/B測試、資料集合並等，也使用Hadoop對超過百萬的曲目進行大規模的音訊特徵分析。

節點超過100臺機器，叢集節點配置雙四核XeonL5520@2.27GHzL5630@2.13GHz，24GB記憶體，8TB（4×2TB）儲存。

10.LinkedIn

LinkedIn有多種硬體配置的Hadoop叢集，主要叢集配置如下：

• 800節點叢集，基於Westmere的惠普SL170X與2×4的核心，24GB記憶體，6×2TBSATA。

• 1900節點叢集，基於Westmere的超微-HX8DTT，與2×6的核心，24GB記憶體，6×2TBSATA。

• 1400節點叢集，基於SandyBridge超微與2×6的核心，32GB記憶體，6×2TBSATA。

使用的軟體如下：

• 作業系統使用RHEL6.3。

• JDK使用SUNJDK1.6.0_32。

• Apache的Hadoop0.20.2的補丁和ApacheHadoop的1.0.4補丁。

• Azkaban和Azkaban用於作業排程。

• Hive、Avro、Kafka等。

11.MobileAnalytic.TV

主要使用Hadoop應用在並行化演算法領域，涉及的MapReduce應用演算法如下。

• 資訊檢索和分析。

• 機器生成的內容——文件、文字、音訊、影片。

• 自然語言處理。

• 專案組合包括：

• 移動社交網路。

• 網路爬蟲。

• 文字到語音轉化。

• 音訊和影片自動生成。

12.Openstat

主要利用Hadoop定製一個網路日誌分析並生成報告，其生產環境下超過50個節點叢集（雙路四核Xeon處理器，16GB的RAM，4～6硬碟驅動器），還有兩個相對小的叢集用於個性化分析，每天處理約500萬的事件，每月15億美元的交易資料，叢集每天產生大約25GB的報告。

使用的技術主要包括：CDH、Cascading、Janino。

13.Quantcast

3000個CPU核心，3500TB儲存，每日處理1PB以上的資料，使用完全自定義的資料路徑和排序器的Hadoop排程器，對KFS檔案系統有突出貢獻。

14.Rapleaf

超過80個節點的叢集（每個節點有2個雙核CPU，2TB×8儲存，16GBRAM記憶體）；主要使用Hadoop、Hive處理Web上關聯到個人的資料，並引入Cascading簡化資料流穿過各種處理階段。

15.WorldLingo

硬體上超過44臺伺服器（每臺有2個雙核CPU，2TB儲存，8GB記憶體），每臺伺服器均執行Xen，啟動一個虛擬機器例項執行Hadoop/HBase，再啟動一個虛擬機器例項執行Web或應用程式伺服器，即有88臺可用的虛擬機器；執行兩套獨立的Hadoop/HBase機群，它們各自擁有22個節點。Hadoop主要用於執行HBase和MapReduce作業，掃描HBase的資料表，執行特定的任務。HBase作為一種可擴充套件的、快速的儲存後端，用於儲存數以百萬的文件。目前儲存了1200萬篇文件，近期的目標是儲存4.5億篇文件。

16.格拉斯哥大學的TerrierTeam

超過30個節點的實驗叢集（每節點配置XeonQuadCore2.4GHz，4GB記憶體，1TB儲存）。使用Hadoop促進資訊檢索研究和試驗，特別是用於TREC，用於TerrierIR平臺。Terrier的開源發行版中包含了基於HadoopMapReduce的大規模分散式索引。

17.內布拉斯加大學的HollandComputingCenter

執行一箇中等規模的Hadoop機群（共計1.6PB儲存）用於儲存和提供物理資料，以支援緊湊型μ子螺旋型磁譜儀（CompactMuonSolenoid，CMS）實驗的計算。這需要一類能夠以幾Gbps的速度下載資料，並以更高的速度處理資料的檔案系統的支援。

18.VisibleMeasures

將Hadoop作為可擴充套件資料流水線的一個元件，最終用於VisibleSuite等產品。使用Hadoop彙總、儲存和分析與網路影片觀眾收看行為相關的資料流。目前的網格包括超過128個CPU核心，超過100TB的儲存，並計劃大幅擴容。

國內Hadoop的應用現狀

Hadoop在國內的應用主要以網際網路公司為主，下面主要介紹大規模使用Hadoop或研究Hadoop的公司。

1.百度

百度在2006年就開始關注Hadoop並開始調研和使用，在2012年其總的叢集規模達到近十個，單叢集超過2800臺機器節點，Hadoop機器總數有上萬臺機器，總的儲存容量超過100PB，已經使用的超過74PB，每天提交的作業數目有數千個之多，每天的輸入資料量已經超過7500TB，輸出超過1700TB。

百度的Hadoop叢集為整個公司的資料團隊、大搜尋團隊、社群產品團隊、廣告團隊，以及LBS團體提供統一的計算和儲存服務，主要應用包括：

• 資料探勘與分析。

• 日誌分析平臺。

• 資料倉儲系統。

• 推薦引擎系統。

• 使用者行為分析系統。

同時百度在Hadoop的基礎上還開發了自己的日誌分析平臺、資料倉儲系統，以及統一的C++程式設計介面，並對Hadoop進行深度改造，開發了HadoopC++擴充套件HCE系統。

2.阿里巴巴

阿里巴巴的Hadoop叢集截至2012年大約有3200臺伺服器，大約30?000物理CPU核心，總記憶體100TB，總的儲存容量超過60PB，每天的作業數目超過150?000個，每天hivequery查詢大於6000個，每天掃描資料量約為7.5PB，每天掃描檔案數約為4億，儲存利用率大約為80%，CPU利用率平均為65%，峰值可以達到80%。阿里巴巴的Hadoop叢集擁有150個使用者組、4500個叢集使用者，為淘寶、天貓、一淘、聚划算、CBU、支付寶提供底層的基礎計算和儲存服務，主要應用包括：

• 資料平臺系統。

• 搜尋支撐。

• 廣告系統。

• 資料魔方。

• 量子統計。

• 淘資料。

• 推薦引擎系統。

• 搜尋排行榜。

為了便於開發，其還開發了WebIDE繼承開發環境，使用的相關係統包括：Hive、Pig、Mahout、Hbase等。

3.騰訊

騰訊也是使用Hadoop最早的中國網際網路公司之一，截至2012年年底，騰訊的Hadoop叢集機器總量超過5000臺，最大單叢集約為2000個節點，並利用Hadoop-Hive構建了自己的資料倉儲系統TDW，同時還開發了自己的TDW-IDE基礎開發環境。騰訊的Hadoop為騰訊各個產品線提供基礎雲端計算和雲端儲存服務，其支援以下產品：

• 騰訊社交廣告平臺。

• 搜搜（SOSO）。

• 拍拍網。

• 騰訊微博。

• 騰訊羅盤。

• QQ會員。

• 騰訊遊戲支撐。

• QQ空間。

• 朋友網。

• 騰訊開放平臺。

• 財付通。

• 手機QQ。

• QQ音樂。

4.奇虎360

奇虎360主要使用Hadoop-HBase作為其搜尋引擎so.com的底層網頁儲存架構系統，360搜尋的網頁可到千億記錄，資料量在PB級別。截至2012年年底，其HBase叢集規模超過300節點，region個數大於10萬個，使用的平臺版本如下。

• HBase版本：facebook0.89-fb。

• HDFS版本：facebookHadoop-20。

奇虎360在Hadoop-HBase方面的工作主要為了最佳化減少HBase叢集的啟停時間，並最佳化減少RS異常退出後的恢復時間。

5.華為

華為公司也是Hadoop主要做出貢獻的公司之一，排在Google和Cisco的前面，華為對Hadoop的HA方案，以及HBase領域有深入研究，並已經向業界推出了自己的基於Hadoop的大資料解決方案。

6.中國移動

中國移動於2010年5月正式推出大雲BigCloud1.0，叢集節點達到了1024。中國移動的大雲基於Hadoop的MapReduce實現了分散式計算，並利用了HDFS來實現分散式儲存，並開發了基於Hadoop的資料倉儲系統HugeTable，並行資料探勘工具集BC-PDM，以及並行資料抽取轉化BC-ETL，物件儲存系統BC-ONestd等系統，並開源了自己的BC-Hadoop

版本。

中國移動主要在電信領域應用Hadoop，其規劃的應用領域包括：

• 經分KPI集中運算。

• 經分系統ETL/DM。

• 結算系統。

• 信令系統。

• 雲端計算資源池系統。

• 物聯網應用系統。

• E-mail。

• IDC服務等。

7.盤古搜尋

盤古搜尋（目前已和即刻搜尋合併為中國搜尋）主要使用Hadoop叢集作為搜尋引擎的基礎架構支撐系統，截至2013年年初，叢集中機器數量總計超過380臺，儲存總量總計3.66PB，主要包括的應用如下。

• 網頁儲存。

• 網頁解析。

• 建索引。

• Pagerank計算。

• 日誌統計分析。

• 推薦引擎等。

• 
  

• 即刻搜尋（人民搜尋）

即刻搜尋（目前已與盤古搜尋合併為中國搜尋）也使用Hadoop作為其搜尋引擎的支撐系統，截至2013年，其Hadoop叢集規模總計超過500臺節點，配置為雙路6核心CPU，48G記憶體，11×2T儲存，叢集總容量超過10PB，使用率在78%左右，每天處理讀取的資料量約為500TB，峰值大於1P，平均約為300TB。

即刻搜尋在搜尋引擎中使用sstable格式儲存網頁並直接將sstable檔案儲存在HDFS上面，主要使用HadoopPipes程式設計介面進行後續處理，也使用Streaming介面處理資料，主要的應用包括：

• 網頁儲存。

• 解析。

• 建索引。

• 推薦引擎。

本文節選自《Hadoop核心技術》一書。翟周偉著，由機械工業出版社華章公司，2015年4月出版。