大資料分析系統Hadoop的13個開源工具!

趙鈺瑩發表於2018-06-08

    Hadoop是由Apache基金會開發的一個大資料分散式系統基礎架構,最早版本是2003年原Yahoo!DougCutting根據Google釋出的學術論文研究而來。

  使用者可以在不瞭解分散式底層細節的情況下,輕鬆地在Hadoop上開發和執行處理海量資料的應用程式。低成本、高可靠、高擴充套件、高有效、高容錯等特性讓Hadoop成為最流行的大資料分析系統,然而其賴以生存的HDFS和MapReduce元件卻讓其一度陷入困境——批處理的工作方式讓其只適用於離線資料處理,在要求實時性的場景下毫無用武之地。

  因此,各種基於Hadoop的工具應運而生,本次為大家分享Hadoop生態系統中最常用的13個開源工具,其中包括資源排程、流計算及各種業務針對應用場景。首先,我們看資源管理相關。

  資源統一管理/排程系統

  在公司和機構中,伺服器往往會因為業務邏輯被拆分為多個叢集,基於資料密集型的處理框架也是不斷湧現,比如支援離線處理的MapReduce、支援線上處理的Storm及Impala、支援迭代計算的Spark及流處理框架S4,它們誕生於不同的實驗室,並各有所長。

  為了減少管理成本,提升資源的利用率,一個共同的想法產生——讓這些框架執行在同一個叢集上;因此,就有了當下眾多的資源統一管理/排程系統,本次為大家重點介紹ApacheMesos及YARN:

大資料分析系統Hadoop的13個開源工具!

  1、ApacheMesos

  程式碼託管地址:ApacheSVN

  Mesos提供了高效、跨分散式應用程式和框架的資源隔離和共享,支援Hadoop、MPI、Hypertable、Spark等。

  Mesos是Apache孵化器中的一個開源專案,使用ZooKeeper實現容錯複製,使用LinuxContainers來任務,支援多種資源計劃分配(記憶體CPU)。提供Java、Python和C++APIs來開發新的並行應用程式,提供基於Web的使用者介面來提檢視叢集狀態。

  2、HadoopYARN

  程式碼託管地址:ApacheSVN

  YARN又被稱為MapReduce2.0,借鑑Mesos,YARN提出了資源隔離解決方案Container,但是目前尚未成熟,僅僅提供Java虛擬機器的隔離。

  對比MapReduce1.x,YARN架構在客戶端上並未做太大的改變,在呼叫API及介面上還保持大部分的相容,然而在YARN中,開發人員使用ResourceManager、ApplicationMaster與NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一箇中心的服務,負責排程、啟動每一個Job所屬的ApplicationMaster,另外還監控ApplicationMaster的存在情況;NodeManager負責Container狀態的維護,並向RM保持心跳。ApplicationMaster負責一個Job生命週期內的所有工作,類似老的框架中JobTracker。

  Hadoop上的實時解決方案

  前面我們有說過,在網際網路公司中基於業務邏輯需求,企業往往會採用多種計算框架,比如從事搜尋業務的公司:網頁索引建立用MapReduce,自然語言處理用Spark等。

  3、ClouderaImpala

  程式碼託管地址:GitHub

  Impala是由Cloudera開發,一個開源的MassivelyParallelProcessing(MPP)查詢引擎。與Hive相同的後設資料、SQL語法、ODBC驅動程式和使用者介面(HueBeeswax),可以直接在HDFS或HBase上提供快速、互動式SQL查詢。Impala是在Dremel的啟發下開發的,第一個版本釋出於2012年末。

  Impala不再使用緩慢的Hive+MapReduce批處理,而是透過與商用並行關聯式資料庫中類似的分散式查詢引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分組成),可以直接從HDFS或者HBase中用SELECT、JOIN和統計函式查詢資料,從而大大降低了延遲。

  4、Spark

  程式碼託管地址:Apache

  Spark是個開源的資料分析叢集計算框架,最初由加州大學伯克利分校AMPLab開發,建立於HDFS之上。Spark與Hadoop一樣,用於構建大規模、低延時的資料分析應用。Spark採用Scala語言實現,使用Scala作為應用框架。

  Spark採用基於記憶體的分散式資料集,最佳化了迭代式的工作負載以及互動式查詢。與Hadoop不同的是,Spark和Scala緊密整合,Scala像管理本地collective物件那樣管理分散式資料集。Spark支援分散式資料集上的迭代式任務,實際上可以在Hadoop檔案系統上與Hadoop一起執行(透過YARN、Mesos等實現)。

  5、Storm

  程式碼託管地址:GitHub

  Storm是一個分散式的、容錯的實時計算系統,由BackType開發,後被Twitter捕獲。Storm屬於流處理平臺,多用於實時計算並更新資料庫。Storm也可被用於“連續計算”(continuouscomputation),對資料流做連續查詢,在計算時就將結果以流的形式輸出給使用者。它還可被用於“分散式RPC”,以並行的方式執行昂貴的運算。

  Hadoop上的其它解決方案

  就像前文說,基於業務對實時的需求,各個實驗室發明了Storm、Impala、Spark、Samza等流實時處理工具。而本節我們將分享的是實驗室基於效能、相容性、資料型別研究的開源解決方案,其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

  6、Shark

  程式碼託管地址:GitHub

  Shark,代表了“HiveonSpark”,一個專為Spark打造的大規模資料倉儲系統,相容ApacheHive。無需修改現有的資料或者查詢,就可以用100倍的速度執行HiveQL。

  Shark支援Hive查詢語言、元儲存、序列化格式及自定義函式,與現有Hive部署無縫整合,是一個更快、更強大的替代方案。

  7、Phoenix

  程式碼託管地址:GitHub

  Phoenix是構建在ApacheHBase之上的一個SQL中間層,完全使用Java編寫,提供了一個客戶端可嵌入的JDBC驅動。Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBasescan,並編排執行以生成標準的JDBC結果集。直接使用HBaseAPI、協同處理器與自定義過濾器,對於簡單查詢來說,其效能量級是毫秒,對於百萬級別的行數來說,其效能量級是秒。Phoenix完全託管在GitHub之上。

  Phoenix值得關注的特性包括:1,嵌入式的JDBC驅動,實現了大部分的java.sql介面,包括後設資料API;2,可以透過多個行鍵或是鍵/值單元對列進行建模;3,DDL支援;4,版本化的模式倉庫;5,DML支援;5,透過客戶端的批處理實現的有限的事務支援;6,緊跟ANSISQL標準。

  8、ApacheAccumulo

  程式碼託管地址:ApacheSVN

  ApacheAccumulo是一個可靠的、可伸縮的、高效能、排序分散式的鍵值儲存解決方案,基於單元訪問控制以及可定製的端處理。使用GoogleBigTable設計思路,基於ApacheHadoop、Zookeeper和Thrift構建。Accumulo最早由NSA開發,後被捐獻給了Apache基金會。

  對比GoogleBigTable,Accumulo主要提升在基於單元的訪問及伺服器端的程式設計機制,後一處修改讓Accumulo可以在資料處理過程中任意點修改鍵值對。

  9、ApacheDrill

  程式碼託管地址:GitHub

  本質上,ApacheDrill是GoogleDremel的開源實現,本質是一個分散式的mpp查詢層,支援SQL及一些用於NoSQL和Hadoop資料儲存系統上的語言,將有助於Hadoop使用者實現更快查詢海量資料集的目的。當下Drill還只能算上一個框架,只包含了Drill願景中的初始功能。

  Drill的目的在於支援更廣泛的資料來源、資料格式及查詢語言,可以透過對PB位元組資料的快速掃描(大約幾秒內)完成相關分析,將是一個專為互動分析大型資料集的分散式系統。

  10、ApacheGiraph

  程式碼託管地址:GitHub

  ApacheGiraph是一個可伸縮的分散式迭代圖處理系統,靈感來自BSP(bulksynchronousparallel)和Google的Pregel,與它們區別於則是是開源、基於Hadoop的架構等。

  Giraph處理平臺適用於執行大規模的邏輯計算,比如頁面排行、共享連結、基於個性化排行等。Giraph專注於社交圖計算,被Facebook作為其OpenGraph工具的核心,幾分鐘內處理數萬億次使用者及其行為之間的連線。

  11、ApacheHama

  程式碼託管地址:GitHub

  ApacheHama是一個建立在Hadoop上基於BSP(BulkSynchronousParallel)的計算框架,模仿了Google的Pregel。用來處理大規模的科學計算,特別是矩陣和圖計算。叢集環境中的系統架構由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)這3大塊組成。

  12、ApacheTez

  程式碼託管地址:GitHub

  ApacheTez是基於HadoopYarn之上的DAG(有向無環圖,DirectedAcyclicGraph)計算框架。它把Map/Reduce過程拆分成若干個子過程,同時可以把多個Map/Reduce任務組合成一個較大的DAG任務,減少了Map/Reduce之間的檔案儲存。同時合理組合其子過程,減少任務的執行時間。由Hortonworks開發並提供主要支援。

  13、ApacheAmbari

  程式碼託管地址:ApacheSVN

  ApacheAmbari是一個供應、管理和監視ApacheHadoop叢集的開源框架,它提供一個直觀的操作工具和一個健壯的HadoopAPI,可以隱藏複雜的Hadoop操作,使叢集操作大大簡化,首個版本釋出於2012年6月。

  ApacheAmbari現在是一個Apache的頂級專案,早在2011年8月,Hortonworks引進Ambari作為ApacheIncubator專案,制定了Hadoop叢集極致簡單管理的願景。在兩年多的開發社群顯著成長,從一個小團隊,成長為Hortonworks各種組織的貢獻者。Ambari使用者群一直在穩步增長,許多機構依靠Ambari在其大型資料中心大規模部署和管理Hadoop叢集。

  目前ApacheAmbari支援的Hadoop元件包括:HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31077337/viewspace-2155816/,如需轉載,請註明出處,否則將追究法律責任。

相關文章