雲端計算和大資料有什麼關係？

當大資料遭遇雲端計算

從技術上看，大資料與雲端計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理，必須採用分散式計算架構。它的特色在於對海量資料的挖掘，但它必須依託雲端計算的分散式處理、分散式資料庫、雲端儲存和虛擬化技術。

雲端計算為什麼能盛行呢？在網際網路領域應用系統的構建：客戶群體是不確定的、系統規模不確定、系統投資不固定、業務應用有很清晰的並行分割特徵、資料倉儲系統的構建、資料倉儲規模可估算、資料倉儲的系統投資與業務分析的價值和回報相關、商業智慧應用屬於整體應用、Saas模式構建資料倉儲系統。

大資料管理，分散式進行檔案系統，如Hadoop、Mapreduce資料分割與訪問執行；同時SQL支援，以Hive+HADOOP為代表的SQL介面支援，在大資料技術上用雲端計算構建下一代資料倉儲成為熱門話題。

從系統需求來看，大資料的架構對系統提出了新的挑戰：

1. 整合度更高。一個標準機箱最大限度完成特定任務。

2. 配置更合理、速度更快。儲存、控制器、I/O通道、記憶體、CPU、網路均衡設計，針對資料倉儲訪問最優設計，比傳統類似平臺高出一個數量級以上。

3. 整體能耗更低。同等計算任務，能耗最低。

4. 系統更加穩定可靠。能夠消除各種單點故障環節，統一一個部件、器件的品質和標準。

5. 管理維護費用低。資料藏的常規管理全部整合。

6. 可規劃和預見的系統擴容、升級路線圖。

雲端計算環境成為大資料處理平臺

1. 雲端計算環境中基本計算單元的分化

企業雲端計算平臺上雖然有多個平行計算的CPU，但並沒有創造出具有超強資料處理能力的超級CPU，因此雲端計算平臺需要的是有並行運算能力的軟體系統。同時，當所有使用者的資料全部放在雲端時，雖然儲存容量可以很方便地擴充，但面對大量使用者同時發起的海量資料處理請求，簡單的資料處理邏輯已經無法滿足需要。

可以看到，國內有相當多的電商企業，用小型機和Oracle扛了好幾年，並請了全國最牛的Oracle的專家不停最佳化他的Oracle和小型機，初期發展可能很快，但是後來由於資料量激增，業務開始受到嚴重影響，最典型的例子無疑是京東商城前段時間發生的大規模訪問請求當機事件，因此他們開始逐漸放棄了Oracle或者MS-SQL，並逐漸轉向MySQL+X86的分散式架構。

目前的基本計算單元常常是普通的X86伺服器，它們組成了一個大的雲，而未來的雲端計算單元裡有可能有儲存單元、計算單元、協調單元，總體的效率會更高。

2. 對系統穩定性的需求

在應對大規模訪問的時候有一些系統穩定性的追求，來自很多方面，來自網路穩定性、資料庫穩定性。對系統而言，需要把握一個大原則，需要消除任何單點故障。不光是網路上單點故障，還有來自你呼叫中心裡的單點故障，只要有單點故障一定要消除掉。因為對於電商行業而言，每一秒都是錢，電子商務業務如果當機一個小時，損失多少是可以算出來的，電商行業需要非常全面的技術系統監控報警系統。有時候你會發現你如果透過技術系統的監控去推匯出你的技術發生問題已經晚了。