> 作者：あおざき
>
> 來源：[恆生LIGHT雲社群](https://developer.hs.net/thread/1776)

# **1.Azkaban介紹**

Azkaban是由linkedin（領英）公司推出的一個批次工作流任務排程器，用於在一個工作流內以一個特定的順序執行一組工作和流程。Azkaban使用job配置檔案建立任務之間的依賴關係，並提供一個易於使用的web使用者介面維護和跟蹤你的工作流。

![azkaban.png](https://developer.hs.net/storage/attachments/2021/12/19/eB0ejyjCE9rn8FQaWVUUiIa3kvIDaOs9SpKsrelq_thumb.png "4244")

Azkaban功能特點：
1.提供功能清晰，簡單易用的Web UI界。
2.提供job配置檔案快速建立任務和任務之間的依賴關係。
3.提供模組化和可插拔的外掛機制，原生支援command、Java、Hive、Pig、Hadoop。

# **2.Azkaban原理**

![架構.png](https://developer.hs.net/storage/attachments/2021/12/19/EglIEJDecwSpcpLPt9Kmb1POMAVIjwAaX4cYmeCS_thumb.png "4245")

**mysql伺服器:** 儲存後設資料，如專案名稱、專案描述、專案許可權、任務狀態、SLA規則。

**AzkabanWebServer:**對外提供web服務，使使用者可以透過web頁面管理。職責包括專案管理、許可權授權、任務排程、監控executor。

**AzkabanExecutorServer:**負責具體的工作流的提交、執行。

# **3.Azkaban三種部署模式**

（1）solo server mode：該模式中webServer和executorServer執行在同一個程式中，程式名是AzkabanSingleServer。使用自帶的H2資料庫。這種模式包含Azkaban的所有特性，但一般用來學習和測試。

（2）two server mode：該模式使用MySQL資料庫， Web Server和Executor Server執行在不同的程式中。

（3）multiple executor model：該模式使用MySQL資料庫， Web Server和Executor Server執行在不同的機器中，且有多個Executor Server，該模式適用於大規模應用。

# 4.Azkaban原始碼編譯

Azkaban3.x在安裝前需要自己編譯成二進位制包，並且提前安裝好Maven、Ant、Node等軟體。

（1）編譯環境：

```
yum install –y git
yum install –y gcc-c++
```

（2）下載原始碼解壓

```
wget https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz
tar -zxvf 3.51.0.tar.gz 
cd ./azkaban-3.51.0/
```

（4）編譯原始碼

```
./gradlew build installDist -x test
```

Gradle是一個基於Apache Ant和Apache Maven的專案自動化構建工具。-x test 跳過測試。編譯成功之後就可以在指定的路徑下取得對應的安裝包了。![a.png](https://developer.hs.net/storage/attachments/2021/12/19/UALm5d5QMGEFc2tXWEeqC0GWwAsUNxq0FTAIdvTf_thumb.png "4246")

```
#solo-server模式安裝包路徑
azkaban-solo-server/build/distributions/
#two-server模式和multiple-executor模式web-server安裝包路徑
azkaban-web-server/build/distributions/
#two-server模式和multiple-executor模式exec-server安裝包路徑
azkaban-exec-server/build/distributions/

```

![b.png](https://developer.hs.net/storage/attachments/2021/12/19/T4J7TxmyTUixExqXJX7xnMxBcCo0SVx4GmW1byOI_thumb.png "4247")

```
azkaban-db/build/distributions/
資料庫相關安裝包路徑

```

# **5.Azkaban安裝部署**

這裡只介紹solo server模式部署

（1）解壓配置

```
mkdir /export/servers/azkaban
tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz –C /export/servers/azkaban/

vim conf/azkaban.properties
default.timezone.id=Asia/Shanghai #修改時區

vim  plugins/jobtypes/commonprivate.properties
新增：memCheck.enabled=false
azkaban預設需要3G的記憶體，剩餘記憶體不足則會報異常

```

（2）啟動驗證

```
cd azkaban-solo-server-0.1.0-SNAPSHOT/
bin/start-solo.sh
```

（3）登入web頁面

訪問Web Server=>[http://node-1:8081/](http://node-1:8081/) 預設使用者名稱密碼**azkaban**

![c.png](https://developer.hs.net/storage/attachments/2021/12/19/gJDCcQuL4yK2unVxLV0bH1yJQm7crEKeoGliVN8m_thumb.png "4248")

**體驗測試**

http://node-1:8081/index登入=>Create Project=>Upload zip包
=>execute flow執行一步步操作即可。

建立兩個檔案one.job
two.job,內容如下，打包成zip包（solo_job）。

```
cat one.job 
    type=command
    command=echo "this is job one"
cat two.job 
    type=command
    dependencies=one
    command=echo "this is job two"

```

建立工程：

![d.png](https://developer.hs.net/storage/attachments/2021/12/19/m8es2QdY1zEkVpDXkTYQQKpi2S0eYLQiM8Cdhpcx_thumb.png "4249")

上傳zip壓縮包：

![a.png](https://developer.hs.net/storage/attachments/2021/12/19/uHtp9Q7XFkUkHyyYDxBiBIwT9nSseKGrQCU47q9N_thumb.png "4250")

execute執行：

![b.png](https://developer.hs.net/storage/attachments/2021/12/19/3kc3C4hILZnx6bcgmQ4RcxDmOQQ866Qxi62bEygc_thumb.png "4251")

![c.png](https://developer.hs.net/storage/attachments/2021/12/19/YbaIg4Vkunf1xNXYQSvDjEDvn5eAgGvwxXebKNcy_thumb.png "4252")

執行結果檢視：

![e.png](https://developer.hs.net/storage/attachments/2021/12/19/HvcqhsPU4bjL6bzs8iL0JMuKYDRMGVdExaaFJqR0_thumb.png "4254")

***

想向技術大佬們多多取經？開發中遇到的問題何處探討？如何獲取金融科技海量資源？

[恆生LIGHT雲社群](https://developer.hs.net/)，由恆生電子搭建的金融科技專業社群平臺，分享實用技術乾貨、資源資料、金融科技行業趨勢，擁抱所有金融開發者。

掃描下方小程式二維碼，加入我們！

![](https://developer.hs.net/storage/attachments/2021/12/20/vzjJlveZdvxcz6rUjIBaPMbRK36iL8jCjtMU5h97.png)

Azkaban工作流排程

相關文章