1.1 大資料簡介-hadoop-最全最完整的保姆級的java大資料學習資料

假裝文藝範兒發表於2022-12-02
大資料HadoopJava

目錄

1 hadoop-最全最完整的保姆級的java大資料學習資料

大資料技術解決的是什麼問題？
大資料技術解決的主要是海量資料的儲存和計算。
Hadoop的廣義和狹義之分
狹義的Hadoop:指的是一個框架，Hadoop是由三部分組成：HDFS：分散式檔案系統--> 儲存； MapReduce:分散式離線計算框架-->計算；Yarn:資源排程框架
廣義的Hadoop:廣義Hadoop是不僅僅包含Hadoop框架，除了Hadoop框架之外還有一些輔助框 架。Flume：日誌資料採集,Sqoop：關係型資料庫資料的採集；
Hive:深度依賴Hadoop框架完成計算（sql），Hbase:大資料領域的資料庫（mysql）
Sqoop：資料的匯出
廣義Hadoop指的是一個生態圈。

主要學習內容

第一部分：大資料簡介(定義，特點，應用場景，發展趨勢，職業發展路線)
第二部分：Hadoop簡介(歷史，發展路線-版本變更，發行版(CDH))
第三部分：Hadoop的重要組成(hdfs,mapreduce,yarn)
第四部分：Apache Hadoop 完全分散式叢集搭建
第五部分：HDFS 分散式檔案系統(架構，原理，常用api, 後設資料管理，許可權，日誌採集的綜合案例)
第六部分：MapReduce分散式計算框架 (原理，常用的程式設計規範等，大量案例練習-分割槽，排序-快 排-歸併排序，壓縮，自定義元件，綜合案例)
第七部分：Yarn 資源排程框架(架構，原理，三種資源排程策略)
第八部分：Apche Hadoop核心原始碼剖析(nn，dn啟動流程原始碼分析，nn高併發的支撐原理， hadoop3.0新特性)
第九部分： 調優及二次開發示例(hdfs,mr,yarn調優，nn常見GC問題，完成二次開發編譯原始碼)

1.1 大資料簡介

1.1.1 大資料的定義

​ 大資料是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處 理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。

1.1.2 大資料的特點

大資料的特點可以用 IBM 曾經提出的 “5V” 來描述，如下：

在這裡插入圖片描述

  • 大量

    採集、儲存和計算的資料量都非常大。

    計算機儲存單位一般用B，KB，MB，GB，TB，PB，EB，ZB，YB，BB、NB、DB來表示， 它們之間的關係是
    1GB = 1024 MB
    1TB = 1024 GB
    1PB = 1024 TB
    1EB = 1024 PB
    1ZB = 1024 EB
    1YB = 1024 ZB
    1BB = 1024 YB
    1NB = 1024 BB
    1DB = 1024 NB

    以PB為例，PB級資料量有多大？是怎樣的一個概念？

    假如手機播放MP3的速度為平均每分鐘1MB，而1首歌曲的平均時長為4分鐘，那麼1PB存量的歌曲可以連續播放2000年。

    1PB 也相當於50%的全美學術研究圖書館藏書諮詢內容。

    （1）1986年，全球只有0.02EB也就是約21000TB的資料量
    （2）2007年，全球就是280EB也就是約300000000TB的資料量，翻了14000倍
    （3）近些年，由於移動網際網路及物聯網的出現，各種終端裝置的接入，各種業務形式的普 及，平均每40個月，全球的資料量就會翻倍！2012年，每天會產生2.5EB的資料量
    （4）基於IDC的報告預測，從2013年到2020年，全球資料量會從4.4ZB猛增到44ZB！而到了 2025年，全球會有163ZB的資料量！

    全球的資料量已經大到爆了！而傳統的關係型資料庫根本處理不了如此海量的資料！

  • 高速

    在大資料時代，資料的建立、儲存、分析都要求被高速處理，比如電商網站的個性化推薦儘可能要求實時完成推薦，這也是大資料區別於傳統資料探勘的顯著特徵。

  • 多樣

    資料形式和來源多樣化。包括結構化、半結構化和非結構化資料，具體表現為網路日誌、音 頻、影片、圖片、地理位置資訊等等，多型別的資料對資料的處 理能力提出了更高的要求。

  • 真實

    確保資料的真實性，才能保證資料分析的正確性

  • 低價值

    資料價值密度相對較低，或者說是浪裡淘沙卻又彌足珍貴。網際網路發展催生了大量資料，資訊海量，但價值密度較低，如何結合業務邏輯並透過強大的機器演算法來挖掘資料價值，是大資料時代最需要解決的問題，也是一個有難度的課題。

1.1.3 大資料的應用場景

隨著大資料的發展，大資料技術已經廣泛應用在眾多行業，比如倉儲物流、電商零售、汽車、電信、生物醫學、人工智慧、智慧城市等等領域，包括在疫情防控戰中，大資料技術也發揮了重要的作用。

  • 倉儲物流
    大資料技術驅動了倉儲物流領域的智慧化發展，以蘇寧為例，蘇寧物流可在全國的各級倉庫間實現 智慧分倉、就近備貨和預測式調撥，實現”客戶需要的商品就在離客戶最近的配送中心“。

在這裡插入圖片描述

  • 電商零售

    • 零售業 ” 啤酒+紙尿褲 “ 案例

在這裡插入圖片描述

  • 個性推薦
    在這裡插入圖片描述

  • ” 雙11購物節 “ 實時銷售額大屏
    在這裡插入圖片描述

  • 汽車

    利用了大資料和物聯網技術的無人駕駛汽車，在不遠的未來將走入我們的日常生活

在這裡插入圖片描述

  • 電信
    移動聯通根據使用者年齡、職業、消費情況，分析統計哪種套餐適合哪類人群，對市場人群精準定製。

在這裡插入圖片描述

  • 生物醫學

    大資料可以幫助我們實現流行病預測、智慧醫療、健康管理，同時還可以幫助我們解讀DNA，瞭解更多的生命奧秘。比如影像大資料支撐下的早期肺癌支撐平臺，基於大量病例資料樣本，制定早期肺癌高危人群預警指標。
    在這裡插入圖片描述

  • 人工智慧

在這裡插入圖片描述

  • 智慧城市

    大資料有效支撐智慧城市發展，成為城市的”資料大腦“。比如，在智慧城市建設上，杭州始終走在全國前列。如覆蓋面廣的移動支付、新穎的線上醫療模式、創新的物流運輸模式，都受到較大關注。2016年，杭州被《中國新型智慧城市》白皮書評為“中國最智慧的城市”。

在這裡插入圖片描述

大資料的價值，遠遠不止於此，大資料對各行各業的滲透，大大推動了社會生產和生活，未來必將產生重大而深遠的影響。

1.1.4 大資料的發展趨勢及職業路線

1.4.4.1 大資料發展趨勢

  1. 2015年黨的十八屆五中全會提出“實施國家大資料戰略”，國務院印發《促進大資料發展行動綱要》，大資料技術和應用處於創新突破期，國內市場需求處於爆發期，我國大資料產業面臨重要的發展機遇

  2. 2017年十九大報告明確 "推動網際網路、大資料、人工智慧和實體經濟深度融合"

  3. 2020年全國政協十三屆三次會議新聞釋出會上，更進一步強調：大資料、人工智慧、5G是引領 未來發展的戰略性技術

    顯然，發展大資料是我國的戰略性決策，前景自然不言而喻

  4. 2017年北京大學、中國人民大學、北京郵電大學等25所高校成功申請開設大資料課程

  5. 大資料屬於高新技術，大牛少，升職競爭小

  6. 2020年5月6日，人力資源和社會保障部發布《新職業—大資料工程技術人員就業景氣現狀分析報告》，報告顯示：預計2020年中國大資料行業人才需求規模將達210萬，2025年前大資料人才需求仍將保持30%~40%的增速，需求總量在2000萬人左右

  7. 在北京大資料開發工程師的平均薪水已經超越 1.5w 直逼2w，而且目前還保持強勁的發展勢頭

1.4.4.2 大資料職業發展路線

​ 目前大資料高、中、低三個檔次的人才都很缺。現在我們談大資料，就像當年談電商一樣，未來前景已經很明確，接下來就是優勝劣汰，競爭上崗。不想當架構師的程式設計師不是好架構師！但是，大資料發展到現階段，涉及大資料相關的職業崗位也越來越精細。

​ 從職業發展來看，由大資料開發、挖掘、演算法、到架構。從級別來看，從工程師、高階工程師，再到架構師，甚至到科學家。而且，契合不同的行業領域，又有專屬於這些行業的崗位衍生，如涉及金融領域的資料分析師等。大資料的相關工作崗位有很多，有資料分析師、資料探勘工程師、大資料開發工程師、大資料產品經理、視覺化工程師、爬蟲工程師、大資料運營經理、大資料架構師、資料科學家等等。

​ 從事崗位：ETL工程師，資料倉儲工程師，實時流處理工程師，使用者畫像工程師，資料探勘，演算法工程師，推薦系統工程。

相關文章