Hadoop遭遇瓶頸的七大危險訊號

　　大多數企業大資料應用案例尚處於實驗和試點階段，對於少數首次在生產環境部署Hadoop系統的使用者來說，最常遇到的就是擴充套件問題，此類問題往往導致企業因噎廢食，終止大資料應用專案。

　　部署和擴充套件Hadoop系統是一件高度複雜的事情，如果使用者能提前對Hadoop擴充套件可能會遇到的各種問題和危險訊號有所瞭解，就能避免很多“救火”場面。

　　以下是Altiscale的Raymie Stata為我們總結的Hadoop大資料系統出現擴充套件問題的七大危險訊號：

　　危險訊號一: 永遠進入不了生產階段

　　大資料應用從概念驗證到生產環境是一個巨大的飛躍，Hadoop系統的可擴充套件性將面臨巨大的挑戰。生產環境的資料規模產生的一些問題實驗環境很難碰到。另外資料本身也存在差異，概念驗證階段使用的測試資料集往往是不真實的，或者型別單一。

　　在進入生產環境前，大資料團隊需要對Hadoop系統進行模擬真實資料規模的壓力測試，此類測試能夠檢驗大資料應用的可擴充套件性和容錯效能，還能幫你做出更加準確的效能(資源需求)規劃模型。

　　危險訊號二: 分析計算任務不斷超時

　　當Hadoop叢集中執行的大資料應用很少或者只有一個時，一切都行雲流水，按部就班，但是隨著Hadoop叢集的增長，資料分析任務的執行時間變得難以預測起來。一開始，只是有零星的超時現象，問題容易被忽視，但隨著時間增長，超時問題會越來越嚴重，最後導致危機。

　　在危機爆發前，你必須提前採取行動，根據任務峰值調整計算效能規劃模型。

　　危險訊號三: 你開始告訴人們不要保留所有資料

　　危機出現的另一個徵兆是資料保留時間視窗不斷縮水。一開始你想保留13個月的資料進行年度分析。但是由於空間限制，你開始減少保留資料的月份數。到最後，你的Hadoop系統因為沒有足夠多的資料而不再是“大資料”系統。

　　資料保留視窗的縮水是因為儲存的擴充套件性遇到問題，這與前面的計算效能問題類似。當你的容量預測模型出現問題時，需要儘快調整。

　　危險訊號四: 資料科學家被“餓死”

　　任務負荷過重的Hadoop叢集會扼殺創新，因為資料科學家們將沒有足夠的計算資源來開展大型任務，也沒有足夠的空間來儲存中間結果。

　　效能和容量規劃通常會忽略或者低估資料科學家的需求，在加之前面提到的對生產環境任務的估計不足，會嚴重限制資料科學家的開拓性和創新性工作。

　　危險訊號五：資料科學家們開始檢視Stack Overflow

　　在Hadoop系統部署的早期，你的運營團隊與科學家緊密協作。運營團隊隨時為資料科學家提供支援。(編者按：類似串聯的協作模式)但是當Hadoop 系統成功上線後，系統的運維和擴充套件任務就會讓運營團隊疲於奔命，這時候資料科學家遇到Hadoop問題就只好自己解決，例如經常去技術問答網站Stack Overflow檢視問題帖子。

　　危險訊號六：資料中心越來越熱

　　資料中心伺服器的電力都不是按伺服器的功率峰值配置的，但是一個Hadoop叢集執行任務的時候經常會連續“拷機”數小時，會燒壞功率不匹配的供電線路，同樣的問題也存在於製冷系統中。部署Hadoop系統時請確保資料中心支援其長時間全速執行。

　　危險訊號七：費用超支

　　基於IaaS的Hadoop部署，例如AWS，在支出上是失控的。一個月的費用很有可能是上個月的三倍，遠遠超出你的預算。

　　效能規劃對於基於IaaS的Hadoop部署來說也是非常重要的，但是好的效能規劃只是開始，如果你需要擴充套件IaaS上的Hadoop系統，那麼你需要學習Netflix在成本監控和優化系統上投入大量資金。