大資料處理平臺都有哪些?

CDA 資料分析師發表於2019-03-04


在大資料工作中,有很多的工具和平臺需要我們去了解,當我們把這些工具爛熟於心,我們就能夠更好地處理大資料所涉及的問題。關於大資料的工具有很多,我們在前面的文章中已經給大家介紹了不少,今天重點給大家介紹一下大資料的處理平臺。大資料的處理平臺也是有很多的,我們可以從大資料的處理過程中進行區分。而大資料的處理過程也有很多,比如大資料採集、儲存、結構化處理、隱私保護、挖掘、結果展示等,各種領域的大資料應用一般都會涉及到這些基本過程,但不同應用可能會有所側重。那麼大資料處理平臺都有什麼型別呢?我們就給大家解答一下。

通常來說,有很多演算法和模型可以解決這些處理過程中的技術問題。目前大資料技術平臺有很多,這就需要我們可以對大資料處理平臺進行分類,這就可以從大資料處理的過程、大資料處理的資料型別、大資料處理的方式以及平臺對資料的部署方式這幾方面進行。

首先我們從大資料處理的方式來劃分,這樣我們就能夠把大資料平臺分為批量處理、實時處理、綜合處理。其中批量資料是對成批資料進行一次性處理,而實時處理對處理的延時有嚴格的要求,綜合處理是指同時具備批量處理和實時處理兩種方式。這樣分使得大資料處理系統更容易區分。

然後我們就給大家說一下從大資料處理的過程來區分大資料處理平臺。通過資料處理的過程我們可以分為資料儲存、資料探勘分析、以及為完成高效分析挖掘而設計的計算平臺,它們完成資料採集、ETL、儲存、結構化處理、挖掘、分析、預測、應用等功能。

如果我們從大資料處理的資料型別來劃分,這裡我們可以分為針對關係型資料、非關係型資料、半結構化資料、混合型別資料處理的技術平臺。這些在很多企業中經常使用的。

假如我們從平臺對資料的部署方式區分大資料分析平臺我們可以分為基於記憶體的、基於磁碟的。前者在分散式系統內部的資料交換是在記憶體中進行,後者則是通過磁碟檔案的方式。

其實技術平臺還有分散式、集中式之分,雲環境和非雲環境之分等。這樣就能夠為使用者提供了大資料儲存、計算能力、大資料分析挖掘、以及輸出展示等服務,使用者可以容易地實現BI商業智慧、人工智慧服務,具備一站式資料應用能力。

關於大資料處理平臺的劃分我們就給大家介紹到這裡了。其實大資料處理平臺真的有很多,我們需要根據自己的實際情況選擇學習大資料處理平臺的相關知識,這樣是對工作的負責,也是對自己的負責。最後祝願大家早日學成大資料。

相關文章