大資料

十大開源技術:

Apache HBase

這個大資料管理平臺建立在谷歌強大的BigTable管理引擎基礎上。作為具有開源、Java編碼、分散式多個優勢的資料庫,Hbase最初被設計應用於Hadoop平臺,而這一強大的資料管理工具,也被Facebook採用,用於管理訊息平臺的龐大資料。

Apache Storm

用於處理高速、大型資料流的分散式實時計算系統。Storm為Apache Hadoop新增了可靠的實時資料處理功能,同時還增加了低延遲的儀表板、安全警報,改進了原有的操作方式,幫助企業更有效率地捕獲商業機會、發展新業務。

Apache Spark

該技術採用記憶體計算,從多迭代批量處理出發,允許將資料載入記憶體做反覆查詢,此外還融合資料倉儲、流處理和圖計算等多種計算正規化,Spark用Scala語言實現,構建在HDFS上,能與Hadoop很好的結合,而且執行速度比MapReduce快100倍。

Apache Hadoop

該技術迅速成為了大資料管理標準之一。當它被用來管理大型資料集時,對於複雜的分散式應用,Hadoop體現出了非常好的效能,平臺的靈活性使它可以執行在商用硬體系統,它還可以輕鬆地整合結構化、半結構化和甚至非結構化資料集。

Apache Drill

你有多大的資料集?其實無論你有多大的資料集,Drill都能輕鬆應對。通過支援HBase、Cassandra和MongoDB,Drill建立了互動式分析平臺,允許大規模資料吞吐,而且能很快得出結果。

Apache Sqoop

也許你的資料現在還被鎖定於舊系統中,Sqoop可以幫你解決這個問題。這一平臺採用併發連線,可以將資料從關聯式資料庫系統方便地轉移到Hadoop中,可以自定義資料型別以及後設資料傳播的對映。事實上,你還可以將資料(如新的資料)匯入到HDFS、Hive和Hbase中。

Apache Giraph

這是功能強大的圖形處理平臺,具有很好可擴充套件性和可用性。該技術已經被Facebook採用,Giraph可以執行在Hadoop環境中,可以將它直接部署到現有的Hadoop系統中。通過這種方式,你可以得到強大的分散式作圖能力,同時還能利用上現有的大資料處理引擎。

Cloudera Impala

Impala模型也可以部署在你現有的Hadoop群集上,監視所有的查詢。該技術和MapReduce一樣,具有強大的批處理能力,而且Impala對於實時的SQL查詢也有很好的效果,通過高效的SQL查詢,你可以很快的瞭解到大資料平臺上的資料。

Gephi

它可以用來對資訊進行關聯和量化處理,通過為資料建立功能強大的視覺化效果,你可以從資料中得到不一樣的洞察力。Gephi已經支援多個圖表型別,而且可以在具有上百萬個節點的大型網路上執行。Gephi具有活躍的使用者社群,Gephi還提供了大量的外掛,可以和現有系統完美的整合到一起,它還可以對複雜的IT連線、分散式系統中各個節點、資料流等資訊進行視覺化分析。

MongoDB

這個堅實的平臺一直被很多組織推崇,它在大資料管理上有極好的效能。MongoDB最初是由DoubleClick公司的員工建立,現在該技術已經被廣泛的應用於大資料管理。MongoDB是一個應用開源技術開發的NoSQL資料庫,可以用於在JSON這樣的平臺上儲存和處理資料。目前,紐約時報、Craigslist以及眾多企業都採用了MongoDB,幫助他們管理大型資料集。(Couchbase伺服器也作為一個參考)。

十大頂尖公司:

Amazon Web Services

Forrester將AWS稱為“雲霸主”,談到雲端計算領域的大資料,那就不得不提到亞馬遜。該公司的Hadoop產品被稱為EMR(Elastic Map Reduce),AWS解釋這款產品採用了Hadoop技術來提供大資料管理服務,但它不是純開源Hadoop,經過修改後現在被專門用在AWS雲上。

Forrester稱EMR有很好的市場前景。很多公司基於EMR為客戶提供服務,有一些公司將EMR應用於資料查詢、建模、整合和管理。而且AWS還在創新,Forrester稱未來EMR可以基於工作量的需要自動縮放調整大小。亞馬遜計劃為其產品和服務提供更強大的EMR支援,包括它的RedShift資料倉儲、新公佈的Kenesis實時處理引擎以及計劃中的NoSQL資料庫和商業智慧工具。不過AWS還沒有自己的Hadoop發行版。

Cloudera

Cloudera有開源Hadoop的發行版,這個發行版採用了Apache Hadoop開源專案的很多技術,不過基於這些技術的發行版也有很大的進步。Cloudera為它的Hadoop發行版開發了很多功能,包括Cloudera管理器,用於管理和監控,以及名為Impala的SQL引擎等。Cloudera的Hadoop發行版基於開源Hadoop,但也不是純開源的產品。當Cloudera的客戶需要Hadoop不具備的某些功能時,Cloudera的工程師們就會實現這些功能,或者找一個擁有這項技術的合作伙伴。Forrester表示:“Cloudera的創新方法忠於核心Hadoop,但因為其可實現快速創新並積極滿足客戶需求,這一點使它不同於其他那些供應商。”目前,Cloudera的平臺已經擁有200多個付費客戶,一些客戶在Cloudera的技術支援下已經可以跨1000多個節點實現對PB級資料的有效管理。

Hortonworks

和Cloudera一樣,Hortonworks是一個純粹的Hadoop技術公司。與Cloudera不同的是,Hortonworks堅信開源Hadoop比任何其他供應商的Hadoop發行版都要強大。Hortonworks的目標是建立Hadoop生態圈和Hadoop使用者社群,推進開源專案的發展。Hortonworks平臺和開源Hadoop聯絡緊密,公司管理人員表示這會給使用者帶來好處,因為它可以防止被供應商套牢(如果Hortonworks的客戶想要離開這個平臺,他們可以輕鬆轉向其他開源平臺)。這並不是說Hortonworks完全依賴開源Hadoop技術,而是因為該公司將其所有開發的成果回報給了開源社群,比如Ambari,這個工具就是由Hortonworks開發而成,用來填充叢集管理專案漏洞。Hortonworks的方案已經得到了Teradata、Microsoft、Red Hat和SAP這些供應商的支援。

IBM

當企業考慮一些大的IT專案時,很多人首先會想到IBM。IBM是Hadoop專案的主要參與者之一,Forrester稱IBM已有100多個Hadoop部署,它的很多客戶都有PB級的資料。IBM在網格計算、全球資料中心和企業大資料專案實施等眾多領域有著豐富的經驗。“IBM計劃繼續整合SPSS分析、高效能運算、BI工具、資料管理和建模、應對高效能運算的工作負載管理等眾多技術。”

Intel

和AWS類似,英特爾不斷改進和優化Hadoop使其執行在自己的硬體上,具體來說,就是讓Hadoop執行在其至強晶片上,幫助使用者打破Hadoop系統的一些限制,使軟體和硬體結合的更好,英特爾的Hadoop發行版在上述方面做得比較好。Forrester指出英特爾在最近才推出這個產品,所以公司在未來還有很多改進的可能,英特爾和微軟都被認為是Hadoop市場上的潛力股。

MapR Technologies

MapR的Hadoop發行版目前為止也許是最好的了,不過很多人可能都沒有聽說過。Forrester對Hadoop使用者的調查顯示,MapR的評級最高,其發行版在架構和資料處理能力上都獲得了最高分。MapR已將一套特殊功能融入其Hadoop發行版中。例如網路檔案系統(NFS)、災難恢復以及高可用性功能。Forrester說MapR在Hadoop市場上沒有Cloudera和Hortonworks那樣的知名度,MapR要成為一個真正的大企業,還需要加強夥伴關係和市場營銷。

Microsoft

微軟在開源軟體問題上一直很低調,但在大資料形勢下,它不得不考慮讓Windows也相容Hadoop,它還積極投入到開源專案中,以更廣泛地推動Hadoop生態圈的發展。我們可以在微軟的公共雲Windows Azure HDInsight產品中看到其成果。微軟的Hadoop服務基於Hortonworks的發行版,而且是為Azure量身定製的。

微軟也有一些其他的專案,包括名為Polybase的專案,讓Hadoop查詢實現了SQLServer查詢的一些功能。Forrester說:“微軟在資料庫、資料倉儲、雲、OLAP、BI、電子表格(包括PowerPivot)、協作和開發工具市場上有很大優勢,而且微軟擁有龐大的使用者群,但要在Hadoop這個領域成為行業領導者還有很遠的路要走。”

Pivotal Software

EMC和Vmware部分大資料業務分拆組合產生了Pivotal。Pivotal一直努力構建一個效能優越的Hadoop發行版,為此,Pivotal在開源Hadoop的基礎上又新增了一些新的工具,包括一個名為HAWQ的SQL引擎以及一個專門解決大資料問題的Hadoop應用。Forrester稱Pivotal Hadoop平臺的優勢在於它整合了Pivotal、EMC、Vmware的眾多技術,Pivotal的真正優勢實際上等於EMC和Vmware兩大公司為其撐腰。到目前為止,Pivotal的使用者還不到100個,而且大多是中小型客戶。

Teradata

對於Teradata來說,Hadoop既是一種威脅也是一種機遇。資料管理,特別是關於SQL和關聯式資料庫這一領域是Teradata的專長。所以像Hadoop這樣的NoSQL平臺崛起可能會威脅到Teradata。相反,Teradata接受了Hadoop,通過與Hortonworks合作,Teradata在Hadoop平臺整合了SQL技術,這使Teradata的客戶可以在Hadoop平臺上方便地使用儲存在Teradata資料倉儲中的資料。

AMPLab

通過將資料轉變為資訊,我們才可以理解世界,而這也正是AMPLab所做的。AMPLab致力於機器學習、資料探勘、資料庫、資訊檢索、自然語言處理和語音識別等多個領域,努力改進對資訊包括不透明資料集內資訊的甄別技術。除了Spark,開源分散式SQL查詢引擎Shark也源於AMPLab,Shark具有極高的查詢效率,具有良好的相容性和可擴充套件性。近幾年的發展使電腦科學進入到全新的時代,而AMPLab為我們設想一個運用大資料、雲端計算、通訊等各種資源和技術靈活解決難題的方案,以應對越來越複雜的各種難題。

自:36大資料