一

大資料技術的分類

大資料技術是在傳統資料處理手段無法應對海量資料的實時需求的情況下，採用新的資訊科技來應對大資料爆發進行資料處理的技術。大資料技術一般可以包括基礎架構支援、資料採集、資料儲存、資料計算和資料展現互動等。

大資料技術涵蓋的範圍十分廣闊。基礎架構支援方面主要包括了支撐大資料處理的基礎架構級資料中心管理、雲端計算平臺、雲端儲存裝置及技術、網路技術、資源監控等技術。而為了處理資料，則需要有大規模物理資源的雲資料中心和具備高效的排程管理功能的雲端計算平臺的支撐。

資料採集技術方面包含了資料採集的手段和資料處理技術。一般來講資料採集最基礎的需要各類感測器和軟硬體設施，然後需要進行ETL(採集、轉換和載入)過程，對資料進行清洗、過濾、校驗、轉換等各種預處理，然後將有效的資料轉換成為合適的格式及型別。而部分企業還需要為了應對多源異構的資料採集和儲存訪問設計資料匯流排，以便於企業各個應用和服務之間的資料交換及共享。

資料儲存技術則是在經歷了轉換之後，針對海量資料進行儲存歸檔。一般會採用分散式檔案系統以及分散式資料庫進行儲存，將資料分佈到多了儲存點中，提供備份、安全、訪問介面及協議等機制。

而資料計算一般包括了資料查詢、統計、分析、預測、挖掘、圖譜處理、BI商業智慧等各項相關技術，資料計算是資料處理的關鍵組成，也是大資料技術的核心部分。通過資料計算可以將大資料從資料轉換為價值。

資料展現互動是與使用者最貼近的一步。由於資料的最終使用者為使用者，目標為給生產、運營、規劃提供決策支援，因此一般會選擇更為直觀便捷的方式將資料的價值和內涵展示出來，讓使用者能夠更有效的利用資料發揮價值。這一步出傳統的報表和圖形之外，當前最流行的手段莫過於視覺化工具和人機互動等。

二

大資料技術面臨的挑戰

大資料技術在不斷的發展過程中並非一帆風順，其也遇到了不少挑戰。

1、大資料管理方面，則需要面對多種不同型別的資料。由於當前資料以非結構化資料為主，而且這一趨勢正在加強，如何面對分佈、多型、異構的大資料進行管理，還需要更為有效和快捷的手段。

2、大資料儲存方面，結構化資料儘管儲存較為便捷，可是在海量資料的查詢、統計和更新方面效率較低;如果面對非結構化資料，如、音訊、文字、圖片等，儲存、檢索都會存在一定困難，而且佔用空間較大。對於半結構化資料，儲存、分析都需要進行結構化資料轉換，或者按照非結構化資料儲存，難度較大而且不利於實時處理。

3、大資料應用領域，應用大資料輔助具體行業的落地仍然有待提高，如何快速開展治安防控、警情研判及指揮決策，發掘行業資訊資源價值，提高領域大資料的利用率都需要進一步的落地實施。

大資料技術的提高是顯而易見的，但是大資料落地是一個重大課題。提高大資料技術，增強大資料應用還會是很長時間裡的主旋律。

PS:記得查收小編送你的免費大禮包呦~

福利 | 一萬多套PPT模板等你免費來拿！無條件領取！

免費送 | 1000多套簡歷模板免費拿，附贈簡歷製作教程！

免費領 | 《Shell指令碼 100例》電子書免費拿，運維必備乾貨~

▼▼點選【閱讀原文】，5天運維免費課程，開講在即！