DKhadoop框架結構說明

近年，隨著網際網路的發展特別是移動網際網路的發展，資料的增長呈現出一種爆炸式的成長勢頭。單是谷歌的爬蟲程式每天下載的網頁超過 1 億個（ 2000 年資料，）資料的爆炸式增長直接推動了海量資料處理技術的發展。谷歌公司提出的大表、分散式檔案系統和分散式計算的三大技術構架，解決了海量資料處理的問題。谷歌公司隨即將設計思路開源，發表了具有劃時代意義的三篇論文，很快根據谷歌設計思路的開源框架就出現了，就是如今非常火爆的 hadoop 、 Maperduce 和許多 Nosql 系統。這三大技術也是整個大資料技術的核心基礎。

目前國內的 hadoop 商業發行版也是比較多，這些 hadoop 商業版大部分都是由國外發行的， 純國產的發行版不是很多，比如 DKhadoop ，可以說是目前國內自主做 hadoop 商業版比較好的了。 下面就以大快搜尋 DKhadoop 為例來給大家介紹一下 hadoop 框架結構！

 

圖示： DKhadoop 技術技術架構圖

hadoop 框架結構核心：

hadoop 的框架結構最核心的設計就是： HDFS 和 MapReduce 。 HDFS 為海量的資料提供了儲存， MapReduce 為海量的資料提供了計算。

大資料一體化開發框架：

大資料的應用開發過於偏向底層，設計技術面非常廣泛，學習的難度自然要大的很多。對於新手入門更是難上加難。 DKhadoop 則是大快搜尋將一系列技術框架在底層進行了重新封裝。把大資料開發中的一些通用的，重複使用的基礎程式碼、演算法封裝為類庫，降低了大俗局的學習門檻，降低開發難度。

DKhadoop 框架結構構成模組：

我們以 DKhadoop 發行版為例：

1 、框架由：資料來源與 SQL 引擎、資料採集（自定義爬蟲）模組、資料處理模組、機器學習演算法、自然語言處理模組、搜尋引擎模組，六部分組成。

2 、大快的大資料通用計算平臺（ DKH ），已經整合相同版本號的開發框架的全部元件。如果在開源大資料框架上部署大快的開發框架，需要平臺的元件支援如下：

（ 1 ）資料來源與 SQL 引擎： DK.Hadoop 、 spark 、 hive 、 sqoop 、 flume 、 kafka

（ 2 ）資料採集： DK.hadoop

（ 3 ）資料處理模組： DK.Hadoop 、 spark 、 storm 、 hive

（ 4 ）機器學習和 AI ： DK.Hadoop 、 spark

（ 5 ） NLP 模組：上傳伺服器端 JAR 包，直接支援

（ 6 ）搜尋引擎模組：不獨立釋出

Dkhadoop 是大快深度整合，重新編譯後的 HADOOP 發行版，可單獨釋出。獨立部署 FreeRCH （大快大資料一體化開發框架）時，必需的元件。 DK.HADOOP 整合整合了 NOSQL 資料庫，簡化了檔案系統與非關聯式資料庫之間的程式設計； DK.HADOOP 改進了叢集同步系統，使得 HADOOP 的資料處理更加高效。

關於 hadoop 框架結構暫且簡單介紹這些，感興趣的朋友可以找一下大快搜尋的 DKhadoop 試一下。

 

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31524777/viewspace-2216441/，如需轉載，請註明出處，否則將追究法律責任。