大資料相關技術有哪些？

分析技術

    資料處理：自然語言處理技術

    統計和分析：關聯規則分析、分類、聚類

    模型預測：預測模型、機器學習、建模模擬

大資料技術

    資料採集：ETl工具

    資料存取：關係資料；NoSQl; SQL等

    基礎架構支援：雲端儲存；分散式檔案系統等

    計算結果展現；支計算；關係圖等

儲存

結構化資料

    海量的資料查詢、統計、更新等操作效率低

非結構化資料

    圖片、視訊、Word、Pdf、PPT等檔案儲存

    不利於檢索、查詢和儲存

半結構化資料

    轉換為結構化儲存

    按照非結構化儲存

儲存問題解決方案

    在CAP理論指導下資料庫技術適當“退化”

    NoSQL技術：HDFS、HBASE、OceanBase、MongoDB等

計算

    因結構變化為導致計算模式變更

    需求模式變化帶來的計算碰到瓶頸

解決方案

    Hadoop（MapReduce技術）

    流計算（Twitter的Storm和Yahoo!的S4）

資料來源

    網際網路企業：SNS、微博、視訊網站、電子商務網站

    物聯網、移動裝置、終端中的商品、個人位置、感測器採集的資料

    聯通、移動、電信等通訊和網際網路運營商

    天文望遠鏡拍攝的影象、視訊資料、氣象學裡面衛星雲圖資料等

感謝你的觀看，如果感覺寫的不錯，你可以關注一下我的微信公眾號，也可以加入我們的大數家庭群。

微信公眾號：程式設計師OfHome

程式設計師OfHomeQQ群：610535338