大資料技術體系1（清華：大資料技術體系）

【1】採集與整合

【2】儲存與管理

【3】分析與挖掘

【4】視覺化

【5】計算範型

【6】隱私與安全

 

01資料質量-無法迴避的挑戰

傳統資料質量僅通過EFL方式執行，即抽取、轉換、載入，包括解析、模式分析等。

沒有完全覆蓋資料質量的基本性質

挑戰

分散式環境中，如何保證全域性資料的一致性、精確性、完整性

流體環境中，如何保證時效性（e.g 時序一致性）

在大資料中，保證絕對的資料質量並不現實

高維、異質、模糊、海量、多變

02儲存的老問題、新挑戰

一些轉變：

Hash大於掃描

單副本轉向多副本

單階段轉向多階段

壓縮不再解壓

03大資料分析的特點

	傳統BI	資料科學&大資料分析
焦點	發生了什麼	將要發生什麼
資料	小規模、乾淨資料，簡單的統計模型	大規模、多樣化、無關聯資料，語義模糊、複雜的預測模型
支援	因果分析：事件及其將要發生的原因	關聯分析：利用多個若關聯資料來源發現有潛在價值的結果

主要問題

監控動態流資料，跟蹤變化趨勢；而非僅僅考慮靜態資料

和資料科學家一起工作，而非僅僅靠資料工程師

將大資料分析工具整合到核心業務和運營環節

04視覺化的挑戰

將大規模資料中蘊含的資訊、知識與規律，利用計算機軟體更好的揭示出來

通過人來的互動和反饋，觸發新一輪的知識發現過程，是大資料分析的關鍵。因此，視覺化是人類實現資料洞察的關鍵的互動通道。在大資料時代起到重要的技術支撐作用。

05計算範型

資料找程式 -> 程式找資料

Scale Up -> Scale Out

傳統計算 -> 雲端計算

Virtual Machine & Multi Tenants

CPU -> HPU(Crowdsourcing)