[2019大資料影片教程]小白3天速成排程框架oozie(原始碼+影片+筆記)

好程式設計師IT發表於2019-11-25

[2019大資料影片教程] 小白3天速成排程框架oozie(原始碼+影片+筆記)

1、什麼是 Oozie

Apache Oozie是工作流排程用在Hadoop中。它是一個執行相關的作業工作流系統。這裡,使用者被允許建立向非迴圈圖工作流程,其可以在並列 Hadoop 並順序地執行。

它由兩部分組成:

工作流引擎:一個工作流引擎的職責是儲存和執行工作流程,由 Hadoop 作業組成:MapReduce, Pig, Hive.

協調器引擎:它執行基於預定義的時間表和資料的可用性工作流程作業。

Oozie可擴充套件性和可管理及時執行成千上萬的工作流程(每個由幾十個作業)的Hadoop叢集。

Oozie 也非常靈活。人們可以很容易啟動,停止,暫停和重新執行作業。Oozie 可以很容易地重新執行失敗的工作流。可以很容易重做因當機或故障錯過或失敗的作業。甚至有可能跳過一個特定故障節點。

2、 Oozie三大功能模組

3、 為什麼要使用 Oozie ?

使用Oozie的主要目的是為了管理不同型別的作業在Hadoop系統中處理。

作業之間的依賴關係是由使用者向無環圖的形式指定。Oozie 的消費資訊以及在工作流中指定負責其執行的順序正確。這樣,使用者同時管理儲存整個工作流程。此外 Oozie 有指定執行特定工作頻率規定。

 

4、 Oozie的特點

1 Oozie 客戶端 API 以及命令列介面可以用來啟動,控制和監視Java應用程式作業

2 使用其Web服務的API可以從任何位置控制作業

3 Oozie有規定執行這些計劃定期來執行作業

4 Oozie 有規定作業完成後可傳送電子郵件通知

 

5、課程簡介

1)本課程主要內容:你將學習到,Oozie的原理、安裝配置、使用Oozie實現排程Shell指令碼、邏輯排程多個Shell指令碼、直接排程MapReduce任務以及定時邏輯排程多個任務。

2)學習完本課程可以掌握:排程概念、排程流程、專案排程工作和CDH中oozie的使用等。

3)本課程影片適合人群:所有了解或者系統學習過hadoop生態圈相關元件的人群。若對大資料沒有相關了解,能聽懂概念,很多操作不能關聯。

 

4)本課程影片所涉及軟體版本:

centos 6.5

maven 3.3.9

pig 0.17

apach oozie 5.1.0

CDH 5.13.2

cdh-5.13.2-oozie-4.3.0

 

6、 本期課程目錄

01 oozie介紹

02 oozie的架構

03 oozie的編譯準備

04 oozie的原始碼編譯

05 oozie的server端安裝

06 oozie的server測試

07 client端安裝

08 oozie的常用命令

09 oozie的shell案例

10 oozie的map-reduce案例

11 oozie的fork和join

12 oozie的定時任務

 

7、免費資源獲取方式:

免費領取方法一:

關注vx公眾號“好程式設計師”,回覆DT4,即可獲取 2019最新小白速成排程框架oozie》學習影片+原始碼+筆記!想要資源的小夥伴,趕快領取!


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69913892/viewspace-2665577/,如需轉載,請註明出處,否則將追究法律責任。

相關文章