大資料_03

01 大資料概述

資料來源: 瞭解大資料到來之前，傳統資料的通用處理模式
1、企業內部管理系統 ,如員工考勤（打卡）記錄。 2、客戶管理系統（CRM）

資料特徵： 1、資料增長速度比較緩慢，種類單一。 2、資料量為GB級別，資料量較小。

資料處理方式： 1、資料儲存在資料庫中。處理時以處理器為中心，應用程式到資料庫中檢索資料再進行計算（移 動資料到程式端）

遇到的問題： 1、資料量越來越大、資料處理的速度越來越慢。 2、資料種類越來越多，出現很多資料庫無法儲存的資料，如音訊、照片、視訊等。

02 什麼是大資料？（Big Data）

是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。

是指一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合，具有海量的資料規模、快速的資料流轉、多樣的資料型別和價值密度低四大特徵。

資料的儲存單位 最小的基本單位是bit 1 Byte =8 bit 1 KB = 1,024 Bytes = 8192 bit

KB MB GB TB PB EB ZB YB BB NB DB 進率1024

03 傳統資料與大資料的對比

04 大資料的特點

Volume（大量）:  		資料量巨大，從TB到PB級別。
Velocity（高速）:		資料量在持續增加(兩位數的年增長率)。
Variety（多樣）: 		資料型別複雜，超過80%的資料是非結構化的。
Value（低密度高價值）:  	低成本創造高價值。

資料來自大量源，需要做相關性分析。
需要實時或者準實時的流式採集，有些應用90%寫vs.10%讀。
資料需要長時間儲存，非熱點資料也會被隨機訪問。

4.1 傳統資料與大資料處理伺服器系統安裝對比

4.2 大資料下伺服器系統安裝