![](https://img-blog.csdnimg.cn/01d2cafc38ba4afdb2b840956b858e5a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

作者｜林俊（萬念）
來源｜[爾達 Erda 公眾號](https://mp.weixin.qq.com/s/oTmc63nZVEYUXUMB9Drf2Q)

Erda Pipeline 是端點自研、用 Go 編寫的一款企業級流水線服務。截至目前，已經為眾多行業頭部客戶提供交付和穩定的服務。

為什麼我們堅持自研，而不用 jenkins 等產品呢？在當時，至少有以下幾點理由：

- 時至今日，開源社群仍沒有一個事實上的流水線標準
- K8s、DC/OS 等的 Job 實現都偏弱，上下文傳遞等缺失，不滿足我們的需求，更不要說 Flow 了
- 自研能更快地響應業務需求，進行定製化開發

作為基礎服務，Pipeline 在 Erda 內部支撐了 CI/CD、快資料平臺、自動化測試平臺、SRE 運維鏈路等產品化場景。本文就從幾個方面來介紹一下 Pipeline。

## 為什麼會有 Pipeline
這就需要從應用構建開始說起。Pipeline 的前身是 Packer 和 CI。

![](https://img-blog.csdnimg.cn/a375fd8302c945dfb6e1b073f31d1c1f.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

### Packer
Erda 最開始是端點內部使用的 PaaS 平臺。從 2017 年開始，Erda 就管理了公司所有的研發專案。專案下每個應用都逃不開 `程式碼 -> 編譯 -> 映象製作 -> 部署` 的標準流程。這個時候我們開發了 Packer，顧名思義，它是一個專門負責 `打包` 的元件。使用者需要提供 Dockerfile，這在當時還是有著較高學習成本的。

### CI
隨著 CI/CD（持續整合、持續交付）概念的深入人心，我們也推出了 Packer 的升級版 CI 。同時，基礎設施即程式碼（IaC）的理念也在這裡得到了實踐：透過 erda.yaml 1.0 語法同時宣告應用的微服務架構和構建過程。

在使用者體驗上，我們不再直接暴露 Dockerfile，而是把最佳實踐以 BuildPack 大禮包的方式給到使用者，使用者甚至不需要宣告應用的開發語言和構建方式，就可以透過 BuildPack 的自動探測和識別，完成 CI/CD 流程。

受限於單容器的執行方式，當時我們也遇到了一些問題，譬如把 CI 構建過程自定義能力開放、構建環境多版本問題等，這些問題在 Pipeline 裡都迎刃而解。

### Pipeline
今天回過頭來看，從 CI 升級到 Pipeline 是一個很自然的過程：因為 CI/CD 本身就是一個很標準的流程，我們完全可以抽象出一個更通用的流程引擎，這就是 Pipeline。CI/CD 成為了 Pipeline 最開始支撐的場景。

在設計之初，我們就做了以下改進：

- 對外：透過清晰易用的 pipeline.yaml 語法，降低使用者的上手成本。
- 對內：抽象出任務定義，配合 ActionExecutor Plugin Mechenism（任務執行器外掛機制），很方便地對接各個單任務執行平臺，譬如 DC/OS Metronome、K8s Job、Flink/Spark Job 等。
- 由 Pipeline 提供一致、強大的流程編排能力。

## Pipeline 功能特性
Pipeline 有許多靈活、強大的功能，譬如：

- 配置即程式碼，透過 pipeline.yaml 語法描述流程，基於 Stage 語法簡化編排複雜度。
- 豐富的擴充套件市場，平臺內建超過百款開箱即用的 Action，滿足大部分日常場景；同時可輕鬆擴充套件你自己的 Action。
- 視覺化編輯，透過圖形介面互動快速配置流水線。
- 支援巢狀流水線，在流水線級別進行復用，組合出更強大的流水線。
- 靈活的執行策略，包括串並行、迴圈、分支策略、超時、人工確認等。
- 支援工作流優先佇列，優先順序可實時調整，保證高優先順序流水線優先執行。
- 多維度的重試機制，支援斷點重試、全流程重試。
- 定時流水線，同時提供強大的定時補償功能。
- 動態配置，支援 `值` 和 `檔案` 兩種型別，均支援加密儲存，確保資料安全性。
- 上下文傳遞，後置任務可以引用前置任務的 `值` 和 `檔案`。
- 開放的 OpenAPI 介面，方便第三方系統快速接入。
- ······

## Pipeline 架構
![](https://img-blog.csdnimg.cn/6ec350f9d5db4451a7d3132eafee8d2e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

如上圖所示，Pipeline 支援 UI / OPENAPI / CLI 多種方式進行互動。

Pipeline 本身支援水平擴充套件，保證高可用，還可以將其劃分為：服務層、核心層和引擎層。下面我們詳細介紹一下。

### 服務層
- yaml parser 解析流程定義檔案，支援靈活的變數語法。例如上下文值引用：`${{ outputs.preTaskName.key }}`；配置管理引用：`${{ configs.key }}` 等。
- 對接擴充套件市場獲取擴充套件能力。

### 核心層
- Cron 守護程式。
- EventManager 抽象內部事件傳送，使用介面卡模式解耦監控指標上報、傳送 ws 訊息、支援 webhook 等。
- AOP 擴充套件點機制（借鑑 Spring），把程式碼關鍵節點進行暴露，方便開發同學在不修改核心程式碼的前提下定製流水線行為。這個能力後續我們還會開放給呼叫方，包括使用者，支援他們去做一些有意思的事情。

目前許多有意思的功能都是透過擴充套件點機制實現的，譬如自動化測試報告巢狀生成、佇列彈出前檢查、介面測試 Cookie 保持等：
![](https://img-blog.csdnimg.cn/e1825d7b7f4646c78eec49474c3e0ac1.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

### 引擎層
引擎層包括：

- 流程推進器（Reconciler）
- 優先佇列管理器
- 任務執行器外掛機制

具體內容在下一節會展開講解。

### 中介軟體依賴
我們儘可能做到簡化中介軟體依賴，使部署更簡單。

- 使用 MySQL 做資料持久化。
- 使用 etcd watch 功能實現多例項狀態同步以及分散式鎖。
- 使用 etcd key ttl 實現資料 defer GC。

## 流水線是如何被推進的
在引擎側，pipeline.yaml 被解析為 **DAG（Directed Acyclic Graph，有向無環圖）** 結構後被推進。

換句話說，引擎並不認識、也不關心 pipeline.yaml 語法，使用者側完全可以提供多種多樣的語法方便不同使用者使用，只需要最終能被轉換成 Pipeline 簡單封裝過的 [DAG 結構](https://github.com/erda-project/erda/blob/master/pkg/dag/dag.go#L27)。

Pipeline 級別由推進器 [Reconciler](https://github.com/erda-project/erda/blob/master/modules/pipeline/pipengine/reconciler/define.go#L44) 根據 DAG 計算出當前可被推進的任務，每個任務非同步去執行推進邏輯。

任務的推進由 [TaskFramework](https://github.com/erda-project/erda/blob/master/modules/pipeline/pipengine/reconciler/taskrun/framework.go#L37) 處理，其中抽象出 `prepare -> create -> start -> queue -> wait` 標準步驟。當有需要時也可以很方便地進行標準擴充套件。

當任意一個任務推進完畢時，會再次遞迴呼叫 reconcile 方法去重複上述流程，直到流程整體執行完畢。

Reconciler 中 [透過 DAG 計算可排程任務程式碼如下](https://github.com/erda-project/erda/blob/master/modules/pipeline/pipengine/reconciler/scheduable.go#L27)：

```go
// getSchedulableTasks return the list of schedulable tasks.
// tasks in list can be schedule concurrently.
func (r *Reconciler) getSchedulableTasks(p *spec.Pipeline, tasks []*spec.PipelineTask) ([]*spec.PipelineTask, error) {

// construct DAG
    dagNodes := make([]dag.NamedNode, 0, len(tasks))
    for _, task := range tasks {
        dagNodes = append(dagNodes, task)
    }
    _dag, err := dag.New(dagNodes,
        // pipeline DAG 中目前可以禁用任意節點，即 dag.WithAllowMarkArbitraryNodesAsDone=true
        dag.WithAllowMarkArbitraryNodesAsDone(true),
    )
    if err != nil {
        return nil, err
    }

// calculate schedulable nodes according to dag and current done tasks
    schedulableNodeFromDAG, err := _dag.GetSchedulable((&spec.PipelineWithTasks{Tasks: tasks}).DoneTasks()...)
    if err != nil {
        return nil, err
    }
    ......
}
```

## ActionExecutor 外掛機制
> 把複雜留給自己，把簡單留給別人。

在前文我們說到：由流水線提供靈活、一致的流程編排能力。它的前提是單個任務的執行已經被很好的抽象了。

在 Pipeline 中，我們對一個任務執行的抽象是 ActionExecutor：

```go
type ActionExecutor interface {
    Kind() Kind
    Name() Name

Create(ctx context.Context, action *spec.PipelineTask) (interface{}, error)
    Start(ctx context.Context, action *spec.PipelineTask) (interface{}, error)
    Update(ctx context.Context, action *spec.PipelineTask) (interface{}, error)

Exist(ctx context.Context, action *spec.PipelineTask) (created bool, started bool, err error)
    Status(ctx context.Context, action *spec.PipelineTask) (apistructs.PipelineStatusDesc, error)
    // Optional
    Inspect(ctx context.Context, action *spec.PipelineTask) (apistructs.TaskInspect, error)

Cancel(ctx context.Context, action *spec.PipelineTask) (interface{}, error)
    Remove(ctx context.Context, action *spec.PipelineTask) (interface{}, error)
}
```

因此，一個執行器只要實現 **單個任務** 的 **建立、啟動、更新、狀態查詢、刪除** 等基礎方法，就可以註冊成為一個 ActionExecutor。

恰當的任務執行器抽象，使得 **Batch/Streaming/InMemory Job** 的配置和使用方式完全一致，批流一體，對使用者遮蔽底層細節，做到無感知切換。在同一條流水線中，可以混用各種 ActionExecutor。

排程時，Pipeline 根據任務型別和叢集資訊，將任務排程到對應的任務執行器上。

目前我們已經擁有許多的 ActionExecutor：

![](https://img-blog.csdnimg.cn/3f4ec78c42a449c3857be6b5098ab8fd.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_15,color_FFFFFF,t_70,g_se,x_16#pic_center)

外掛化的開發機制，使我們在未來對接其他任務引擎也變得非常簡單，例如對接 Jenkins 成為一個 ActionExecutor。

這裡舉一個真實的例子：在自動化測試平臺裡，之前每一個 API 都會啟動一個容器去執行，而容器的啟停最快也需要數秒，這和 API 介面正常毫秒級的耗時比起來，慢了幾個數量級。得益於 ActionExecutor 外掛機制，我們快速開發了基於記憶體的 API-Test 任務執行器，很快就解決了這個問題，使用者不需要做任何調整，節省了很多時間成本。

## 更友好的使用者接入層 pipeline.yaml
[pipeline.yaml](https://docs.erda.cloud/1.1/manual/deploy/pipeline.html#%E5%A6%82%E4%BD%95%E7%BC%96%E5%86%99-pipeline-yml-%E6%96%87%E4%BB%B6) 是 IaC 的一個實踐，我們透過 YAML 格式描述流水線定義，基於 Stage 語法簡化編排複雜度。

一個簡單的示例如下所示：

```yaml
version: 1.1

cron: 0 */10 * * * ?

# stage 表示 階段，多個 stage 序列成為 stages
stages:

# 一個 stage 內包含多個 並行 的 Action
- stage:
  - git-checkout: # Action 型別
      params:
        depth: 1
- stage:
  - buildpack:
      alias: backend
      params:
        context: ${{ dirs.git-checkout }}
      resources:
        cpu: 0.5
        mem: 2048
  - custom-script:
      image: centos:7
      commands: # 支援直接執行命令
      - sleep 5
      - echo hello world
      - cat ${{ dirs.git-checkout }}/erda.yml # 這裡透過 ${{ dirs.git-checkout }} 語法來引用檔案
```

## 以 Pipeline 為技術底座
目前，以 Pipeline 作為技術底座，向上支撐了：

- DevOps CI/CD 場景，包括 Erda 自身的持續整合和 Release 版本釋出。
- 快資料平臺：工作流編排，批流一體，支援工作流優先順序佇列，保證高優先順序資料任務必須執行。至今已為多家世界 500 強企業和頭部客戶提供穩定服務。
- 自動化測試平臺：測試流程編排，API（出參、斷言）、資料銀行等不同型別的任務統一編排。
- SRE 叢集運維鏈路。
- 提供無限擴充套件：基於 ActionExecutor 擴充套件機制和擴充套件市場。

![](https://img-blog.csdnimg.cn/b2a9e17f06cb49feaf7f0eae8f11e33f.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

## 開源架構升級
目前，Pipeline 所有程式碼均已完成開源。我們正在進行的重構工作包括：

- 使用 Erda-Infra 微服務架構重新梳理功能模組
- Pipeline 平臺支援獨立部署，UI 自動適配
- 透過 ActionExecutor 外掛機制支援使用者本地 Agent，充分利用本地資源
- 在 GitHub 上推出 Erda Cloud Pipeline App，提供免費的 CI 能力

## 結束語
最後，我們歡迎有更多的同學來使用流水線，不論是程式碼級的使用，還是透過 [Erda Cloud](https://www.erda.cloud) 來體驗我們的服務。

歡迎 GitHub 提交 Issue 和 PR ！

• Erda Github 地址：[https://github.com/erda-project/erda](https://github.com/erda-project/erda)
• Erda Cloud 官網：[https://www.erda.cloud/](https://www.erda.cloud/)

面向多場景而設計的 Erda Pipeline

相關文章