網易微專業大資料工程師

keketebiluodi發表於2018-06-15
大資料工程師
本微專業由國際知名教育集團Wiley開發，面向全球化需求，並由Boolan博覽網結合國內應用進行擴充。助你係統掌握大資料必備技能和核心技術，包括工具選擇，儲存、程式設計、處理和管理資料架構等。
全網獨家大資料雙語課程。英文內容，中文字幕，原版內容，保證質量。
Wiley權威教育資源，頂尖國外公司高管、國內一線工程師協同開發，Boolan博覽網學習服務支援。
強強聯手，打造最有特色的大資料課程。

課程安排
1大資料基礎必修
做為一名大資料工程師，不僅僅要了解核心技術，還需要了解技術架構是如何和商業環境、業務需求相匹配的。本課程先對大資料技術進行整體介紹，包括它的概念和商業應用狀況，並講解儲存、處理和管理大資料的技術架構，介紹 Hadoop 生態系統和 MapReduce 框架是如何支援大資料管理的，並結合企業需求，闡述大資料技術架構是如何高效地實現需求，以及如何靈活支援需求的變更。

授課大綱：
大資料基礎大資料簡介
大資料的商業應用
【實驗】辨識大資料的商業應用
大資料處理技術
理解 Hadoop 生態系統
【實驗】本地安裝Hadoop和Hive
MapReduce 基礎
【實驗】單節點安裝Hbase
管理大資料生態系統大資料技術基礎
【實驗】單節點安裝 Pig
大資料管理系統——資料庫和資料倉儲
【實驗】安裝 Apache Flume
分析大資料
【實驗】安裝 Sqoop並連線到MySQL
資料整合、實時資料和大資料實現
【實驗】安裝 ZooKeeper
大資料解決方案和動態資料
【實驗】安裝 MongoDB

2大資料進階（上）必修
對大資料工程師來說，本門課程是非常核心的。將深入講解 Hadoop、HBase 和 HDFS 的儲存結構，細緻練習 MapReduce 程式設計技能，精深學習 Hadoop 生態系統中的 Hive、Oozie 和 ZooKeeper 等工具。
授課大綱：
資料的儲存和處理在 Hadoop 中儲存資料
【實驗】管理 Hbase 表中的記錄
用 MapReduce 處理資料
【實驗】開發MapReduce程式
個性化設定MapReduce執行
【實驗】在實踐中應用Hadoop MapReduce
測試和除錯 MapReduce程式
【實驗】在MapReduce中連線Hbase資料
開發MapReduce WordCount程式
【實驗】執行WordCount—程式
用 Hive、Pig和 Oozie   提高效率探索 Hive
【實驗】熟悉Hive
Hive高階查詢
【實驗】使用Hive編寫MapReduce程式
用Pig分析資料
【實驗】執行Pig Grunt程式
用Oozie做自動資料處理
【實驗】安裝和配置 Oozie
使用 Oozie
建立 Oozie 工作流

3大資料進階（下）必修
本門課是 Wiley 大資料系列課程的進階部分，將擴充您的視野，豐富您的武器庫。首先會介紹更多的 Hadoop 工具，包括 ZooKeeper、Sqoop、Flume、YARN 和 Storm 等。然後講解如何用 NoSQL 資料庫處理無結構的大資料。接下來會介紹 Hadoop 的安全特性，如何在雲端使用 Hadoop，和如何用 Hadoop 處理實時資料。最後會介紹若干種 Hadoop 的商業分發版。
授課大綱：
其它 Hadoop 工具：ZooKeeper、Sqoop、Flume、YARN 和 Storm用 ZooKeeper 排程分散式處理
【實驗】配置Flume收集終端資料
用Sqoop高效傳輸大量資料
【實驗】用Sqoop載入資料
Flume
【實驗】配置Flume收集本地檔案內容
超越MapReduce——YARN
【實驗】配置Flume收集微博資料到HDFS
在YARN上使用Storm
【實驗】安裝Storm
使用NoSQL和Hadoop：實時、安全和雲Hello NoSQL
【實驗】安裝和使用Cassandra
使用NoSQL
【實驗】使用MongoDB
Hadoop安全
在AWS執行Hadoop應用
實時Hadoop
用MapReduce實現WebCount
商用Hadoop分佈與管理工具Cloudera基礎與Cloudera管理
在Cloudera上使用Hive與Cloudera管理
Hortonworks與Greenplum Pivotal HD
IBM InfoSphere BigInsights和MapR

4大資料開發必修
本章主要著重hadoop和hbase的實際應用開發及講解，重點讓同學們獲得如何去開發和一定的開發實踐。也會為大家對必要的知識進行講解。
授課大綱：
大資料開發基礎上HDFS原理介紹
Hadoop開發例項
【實驗】編寫hadoop應用程式碼
YARN原理介紹
MR原理介紹
mapreduce開發例項上
【實驗】編寫mapreduce
大資料開發基礎下Hbase原理介紹
Hbase開發例項
【實驗】編寫hbase應用程式碼
mapreduce開發例項中
【實驗】編寫mapreduce
大資料開發進階Hbase開發例項提高
【實驗】編寫hbase程式碼
mapreduce開發例項下
【實驗】編寫mapreduce程式碼
HBase提高篇HBase bulkload程式碼講解
【實驗】HBase   bulkload程式碼編寫
Hbase過濾器講解
【實驗】編寫hbase程式碼

5大資料實戰必修
大資料實戰著重hadoop和hbase企業級應用，開篇以hadoop高可用和hbase高可用的搭建來實戰部署企業的hadoop平臺和hbase平臺，後面的章節會有兩個小型的專案進行開發及講解，並會介紹一些在企業中常用的工具。
授課大綱：

搭建hadoop2 HA搭建hadoop2 HA介紹
搭建hadoop2 HA上
【實驗】搭建hadoop2 HA
搭建hadoop2 HA下
【實驗】搭建hadoop2 HA
搭建企業HbaseHBase搭建實戰原理講解
搭建企業Hbase 上
【實驗】搭建Hbase
搭建企業Hbase 下
【實驗】搭建Hbase
Hadoop實戰篇Hbase協處理器實戰上
【實驗】Hbase協處理器程式碼編寫
Hbase協處理器實戰下
【實驗】Hbase協處理器程式碼編寫
Hbase二級索引
【實驗】二級索引程式碼編寫
Mapreduce實戰
【實驗】專案程式碼編寫

下載地址:http://yuandonglirw.com/forum.php?mod=viewthread&tid=559

相關文章