> 作者：あおざき
>
> 來源：[恆生LIGHT雲社群](https://developer.hs.net/thread/1883)

## **1.Oozie概述**

Oozie 是一個用來管理 Hadoop生態圈job的工作流排程系統。由Cloudera公司貢獻給Apache。Oozie是執行於Java servlet容器上的一個java web應用。Oozie的目的是按照DAG（有向無環圖）排程一系列的Map/Reduce或者Hive等任務。Oozie 工作流由hPDL（Hadoop Process Definition Language）定義（這是一種XML流程定義語言）。適用場景包括：

需要按順序進行一系列任務；

需要並行處理的任務；

需要定時、週期觸發的任務；

視覺化作業流執行過程；

執行結果或異常的通報。

![微信圖片_20220104205204.png](https://developer.hs.net/storage/attachments/2022/01/04/4RimGZUHk38D60NcUOKJp7itGEtMqvpY5guZVwim_thumb.png "4667")

## 2.Oozie架構

![1.jpg](https://developer.hs.net/storage/attachments/2022/01/04/W4L2uoC6jM3SEPBV4hzpC3jxTREt5LJn2ChDF5mM_thumb.jpg "4668")

**Oozie Client** ：提供命令列、java api、rest等方式，對Oozie的工作流流程的提交、啟動、執行等操作；

**Oozie WebApp** ：即 Oozie Server,本質是一個java應用。可以使用內建的web容器，也可以使用外接的web容器；

**Hadoop Cluster** ：底層執行Oozie編排流程的各個hadoop生態圈元件；

## 3.Oozie基本原理

Oozie對工作流的編排，是基於workflow.xml檔案來完成的。使用者預先將工作流執行規則定製於workflow.xml檔案中，並在job.properties配置相關的引數，然後由Oozie
Server向MR提交job來啟動工作流。

工作流由兩種型別的節點組成，分別是：

**Control Flow Nodes** ：控制工作流執行路徑，包括start，end，kill，decision，fork,join。

**Action Nodes** ：決定每個操作執行的任務型別，包括MapReduce、java、hive、shell等。

![2.png](https://developer.hs.net/storage/attachments/2022/01/04/yQOGCdyN1qCgwsrs8K1agRtb9Ov2c7Y2MYiRNZTx_thumb.png "4669")

## 4.Oozie工作流型別

（1）WorkFlow

規則相對簡單，不涉及定時、批處理的工作流。順序執行流程節點。

Workflow有個大缺點：沒有定時和條件觸發功能。

![3.png](https://developer.hs.net/storage/attachments/2022/01/04/bv1xpaj4vYxBYtjafkQkVbFaQpJYQIegnMvqnBNX_thumb.png "4670")

（2）Coordinator

Coordinator將多個工作流Job組織起來，稱為Coordinator
Job，並指定觸發時間和頻率，還可以配置資料集、併發數等，類似於在工作流外部增加了一個協調器來管理這些工作流的工作流Job的執行。

![4.png](https://developer.hs.net/storage/attachments/2022/01/04/J8IWS9zbmYtV9CZQVJ1k3lVBWTHUmYbrSrlQR62C_thumb.png "4671")

（3）Bundle

針對coordinator的批處理工作流。Bundle將多個Coordinator管理起來，這樣我們只需要一個Bundle提交即可。

![5.png](https://developer.hs.net/storage/attachments/2022/01/04/MnMEHpBcyd6hbXelvERE2h2MiVd4ynngGLPPzKaW_thumb.png "4672")

***

想向技術大佬們多多取經？開發中遇到的問題何處探討？如何獲取金融科技海量資源？

[恆生LIGHT雲社群](https://developer.hs.net/)，由恆生電子搭建的金融科技專業社群平臺，分享實用技術乾貨、資源資料、金融科技行業趨勢，擁抱所有金融開發者。

掃描下方小程式二維碼，加入我們！

![](https://developer.hs.net/storage/attachments/2021/12/20/vzjJlveZdvxcz6rUjIBaPMbRK36iL8jCjtMU5h97.png)

Apache Oozie學習筆記(一)

相關文章