DKhadoop大資料平臺基礎框架方案概述

adnb34g發表於2018-10-31


大資料作為當下最為熱門的事件之一,其實已經不算是很新鮮的事情了。如果是三五年前在討論大資料,那可能會給人一種很新鮮的感覺。大資料作為當下最為重要的一項戰略資源,已經是越來越得到國家和企業的高度重視,我們從大資料被上升到國家戰略層面就可窺見一二!

現在關於大資料的知識分享可以說已經是鋪天蓋地了,作為新手入門想查詢的資訊基本都可以通過網路查詢到一些。我對的大資料的瞭解其實也不是特別豐富,畢竟學習的時間也不是特別長。僅以我熟悉的 DKhadoop 為例給大家分享一些小知識,往對初學者有點小幫助就可以了。

大資料平臺基礎框架是很多初學者必然要掌握的內容,大資料太過抽象,有時候寫分享的時候難免感覺寫的很多困難。還是通過具體的案例來寫會比較好理解。關於大資料平臺基礎框架我還是用自己熟悉的 DKhadoop 為例。

在此之前還是對 DKhadoop 做一個簡單的說明: DKhadoop 大快大資料平臺,由大快開發的為了打通大資料生態系統與傳統非大資料公司之間的通道而設計的一站式搜尋引擎級大資料通用計算平臺。對於有大量資料需要處理的傳統型企業而言,通過 DKhadoop 這樣的大資料處理平臺可以很輕鬆的跨越大資料技術鴻溝,實現搜尋引擎級的大資料平臺效能。既然有如此大的優勢,那麼樣的大資料平臺的基礎框架又是如何的呢?

我們先來看一張圖片:這張圖是 DKH 標準平臺技術架構圖

 

DKhadoop 大資料平臺基礎框架設計方案概述:

1、 如果你對原生 hadoop 較為熟悉的,你就會發現 dkhadoop 是整合了整個 hadoop 生態系統的全部組建,當然不僅僅是整合這麼簡單,而是做了深度的優化,重新編寫成的一個完整的更高效能的大資料通過計算平臺。這一點跟其他國產發行本大資料平臺還是有著非常的區別的, DKH 是做的原生態開發,其他的國產發行版僅僅是簡單的二次開發。

2、 DKhadoop 通過中介軟體技術,將複雜的大資料叢集配置簡化至三種節點(主節點、管理節點、計算節點),很大程度上簡化了叢集的管理運維,增強了叢集的高可用性、高可維護性、高穩定性。(資料中介軟體是大快 DKH 資料交換層的核心)

3 DKH 在原生態的基礎上開發,並且保持了開源系統的全部優點,與開源系統 100% 相容。這樣,那些基於開源平臺開發的大資料應用就不要經過任何改動,就可以在 DKH 上高效執行了。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31524777/viewspace-2218193/,如需轉載,請註明出處,否則將追究法律責任。

相關文章