4大特點解析華為雲資料湖“黑科技”
如果有人問資料湖是什麼，我會告訴他們，是“桶裝水”的集合。
隨著企業業務的發展，資料出現井噴，資料量呈幾何增長，資料來源和型別更加多元化。傳統資料倉儲就如同“桶裝水商店”，已經承載不了全部水體，因此需要一個可以滿足儲存需求的，新的架構作為大資料的支撐。
這就是資料湖。它匯聚不同資料來源的溪流，包括大量無序的非結構化資料（文字、影像、聲音、網頁等）。我們把它倒入資料湖，然後開始探索該資料。我們希望這是一個包含所有資料的，一個超快、易於訪問的儲存庫，能解決整合難題的終極方法。
但實際上，儲存庫反而變成了一個緩慢、僵化的資料沼澤。大資料需要特殊的專長來分析資料。使用原始資料得出分析結論，將持續在資料質量和治理方面發出危險訊號。業內給這種問題起了個名字，叫資料囤積障礙。
爆炸式增長的資料及資料孤島
你應該明白了。只為了儲存資料而儲存資料，不是一個好主意。我們應該有一個明確的使用目的，然後只向資料供應鏈中匯入相關的資料。當資料水庫中的資料不再有用時，就直接丟棄它。沒有必要把某個特別的應用程式生成的所有資料都儲存下來。以物聯網為例，感測器會產生奇大無比的資料量，但大多數時候其實我們只是在意一些極端值而已，比如溫度超出了某個閾值範圍。

首當其衝的挑戰便是，資料儲存、資料處理、AI元件眾多。處理難度極大。

緊接著，資料孤島問題接踵而至。

多種資料來源，每種資料單獨在一個庫中，業務人員需要在應用層做資料整合/資料搬移，技能要求高，工程耗時長。
資料量日益增大，資料來源日益增多，單個庫擴容困難，效能下降，成本高，難以做跨市跨省等全量資料分析。
缺乏高階分析工具，前沿技術，如機器學習、圖計算、深度學習等，未能充分利用多種資料深入挖掘價值。
用智慧解決非智慧
鑑於資料湖現狀，我們如何利用它們為企業帶來優勢？這裡是智慧資料湖整體解決方案，包含四個關鍵的實踐：融合，高效，易用，智慧
融合——雲化的hadoop

統一資料儲存，再無資料孤島；開放格式，豐富的資料型別：JSON, CSV, AVRO，圖片，影片等；開放介面，相容原生社群應用：100%相容OBS和HDFS介面，總而言之，我們在資料湖中處理資料，試圖找到新的洞察力。我們不會，任由資料處於最原始的格式，我們將最佳化資料。確保資料得到治理，確保資料在語義上一致，並滿足業務的要求。
高效

一個字：快。實時資料實時分析， Apache CarbonData加速，萬億資料秒級響應
易用
做一個一站式、端到端開發工具，支援大資料+AI敏捷開發。視覺化，代表豐富的視覺化元件，圖形化編輯介面，同時支援定製；而資料湖一站式開發工具，可管理多種大資料服務，實現跨服務作業編排排程；支援拖拉拽，預設10多種任務型別。
最後，對於資料標準，資料質量，資料安全的治理不可或缺。

資料湖治理：一站式治理平臺（資料標準，資料質量，資料安全）
智慧
重點絕不僅僅是資料，而是始終關於你要做什麼工作。使用場合是什麼，你可以運用什麼應用程式來處理該資料以便從中受益——用智慧實現高效。
智慧後設資料採集，統一資料檢視
智慧資料管理，無需人工複製
智慧最佳化建議，免DBA

對資料進行“聯絡”，而不是“收集”。相比將資料轉移到越來越大的叢集或資料倉儲，讓資料待在資料湖進行智慧化處理，來得更省錢、更容易也更高效。
如果想先試試效果，無論是企業使用者，還是個人使用者，華為雲均提供了一組免費套餐，最高可免費試用60天，與此同時，華為雲資料湖工廠（Data Lake Factory）2018年12月31日前提供免費試用，名額有限。
更多詳細內容，歡迎訪問：華為雲學院基礎課程（ edu.huaweicloud.com/courses/ ），課程獲取金鑰：
搜尋“資料湖”即可。

4大特點解析華為雲資料湖“黑科技”

相關文章