本文首發於 **[NebulaGraph 公眾號](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/WeChatOfficial.png)**

![複雜場景資料處理的 OLTP 與 OLAP 融合實踐](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/TP%20%2B%20AP/wechat.jpg)
## Dag Controller 介紹

Dag Controller 是 NebulaGraph 企業版的系統，經過反覆測試無誤後進行了釋出，它主要解決的是 OLTP 和 OLAP 的融合問題，以及複雜場景下的圖計算問題。也歡迎大家來詳細瞭解下：https://docs.nebula-graph.com.cn/3.2.1/graph-computing/0.deploy-controller-analytics/。

下面是我對 Dag Controller 做的一些分享，歡迎大家留言一起探討。

相信大家對 OLTP 和 OLAP 都不陌生，我這裡再簡單介紹下：** OLTP 是一種快速響應、實時線上的一種資料處理方式**。與之對應的** OLAP，是一種離線的、複雜場景的資料計算方式**。對 NebulaGraph 來說，OLTP 有多種多樣的查詢語句，如：go、match 等。OLAP 有各種各樣的圖演算法，如：pagerank、louvian、wcc、kcore、jaccard 等。

OLTP 和 OLAP 並不是一個一個獨立存在的，舉例來說，我們可以將 match 跑出來的子圖餵給 pagerank 演算法，pagerank 跑出來的結果可以寫入到 NebulaGraph，繼續執行 match 語句或其它演算法。就像拼積木一樣，可以將各種各樣的 OLTP 和 OLAP 組裝起來，形成一種更加複雜場景的資料處理方式。

**Dag Controller 就是處理這種場景的系統，它負責 OLTP、OLAP 的串聯和執行。**

![Dag Controller 介紹](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/TP%20%2B%20AP/TP%2BAP-01.png)

## 架構

![Dag Controller 架構](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/TP%20%2B%20AP/TP%2BAP-02.png)
Dag Controller 的職責：

1）向外部提供了 http 介面。

用於 Job 的提交、停止、刪除等操作，以及系統環境的配置等。

2）DAG 的執行。

Dag Controller 在執行 DAG 時，OLAP 部分會呼叫 NebulaGraph Analytics 系統，OLTP 部分會呼叫 graphd 完成 nGQL 的執行。

NebulaGraph Analytics 是我們的圖計算系統，支援 pagerank、wcc、louvain、jaccard 等圖分析演算法，支援 hdfs 和 NebulaGraph 資料來源。

graphd、metad、storaged 是 NebulaGraph 中的元件，graphd 主要負責 nGQL 的解析，storaged 負責資料的儲存，metad 負責後設資料的儲存。

## 案例

### 案例 1
![複雜場景資料處理的 OLTP 與 OLAP 融合實踐](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/TP%20%2B%20AP/TP%2BAP-03.png)
上圖是一個對子圖跑 PageRank 演算法的 DAG 模型，首先用 nGQL 語句獲取一個子圖，然後再對這個子圖跑 PageRank 演算法。

當我們的圖規模特別大的情況下，且我們只想對部分圖資料跑演算法，就可以使用這種方式。

### 案例 2
![複雜場景資料處理的 OLTP 與 OLAP 融合實踐](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/TP%20%2B%20AP/TP%2BAP-04.png)

上圖是一個對兩類頂點計算最短路徑的模型。

首先，分別用 nGQL 分別獲取兩個類別的頂點 ID。然後再把這兩類頂點 ID 交給 ShortestPath 演算法，ShortestPath 會在全圖中計算這兩類頂點之間的路徑。

每個演算法是可以設定基於全圖跑演算法，也可以基於子圖跑演算法。

DAG 模型有多種多樣，可以根據不用的業務場景搭建不同的 DAG 模型。

## 技術實現

### DAG 模型

DAG（有向無環圖）指的是一個沒有迴路的有向圖。DAG 的一個例項看作是一個 Job，一個 Job 有多個 Task。

Dag Controller 中的 Task 可以是一個 nGQL，也可以是一個圖演算法，如 pagerank、louvain、sssp 等。

Job 執行時候需要先對 Task 排序，網上有很多相關的程式碼，這裡不再贅述。

### 並行執行

為了保障 DAG 的執行效率，多個 DAG 需要做到並行執行。同時，在一個 DAG 的內部，無上下游依賴關係的Task也需要並行執行。

如何做到多個 DAG 並行執行以及 Task 的並行執行？簡單的說，透過兩個執行緒池分別處理 DAG 和 Task。

具體描述如下：

1）系統啟動時，分配 Job 執行緒池和 Task 執行緒池，分別處理 Job 的執行和 Task 的執行。

2）定時地從資料庫中獲取未執行的 Job，交由 Job 執行緒池執行。

3）Job 執行時按照上下游的依賴關係對 Task 排序，然後依次判斷每個 Task 的所有上游是否執行完成，上游執行完成後將此 Task 交給 Task 執行緒池執行，如果上游未執行完則等待。

4）在 Job 執行過程中，如果 Job 執行緒池滿了之後，定時獲取未執行 Job 時需要做等待處理。Task 執行緒池滿了之後，也同樣做等待處理。

### 型別校驗

Task 之間的資料輸入與輸出存在資料型別校驗問題，這裡需要注意。比如：Task2 是 Task1 的下游，Task2 的輸入需要的是 int 型別，而 Task1 輸出也必須是 int 型別。

### DAG 停止

在停止 Job 的時候，需要對多個並行執行的 Task 進行停止。一個 Task 的有準備階段、執行階段，並且執行階段會存在跨機器、多程式的情況。停止 Job 需要避免孤兒程式的問題。

### 自定義演算法支援
我們支援將客戶的演算法當作一種 Task，用於 DAG 的搭建。首先，在系統中配置演算法相關的引數資訊。在執行 Job 時，由系統負責執行與 Task 相對應的演算法。

——————————————————————————————————————————————————————————————————
原文連結：https://www.nebula-graph.com.cn/posts/dag-controller

>交流圖資料庫技術？加入 NebulaGraph 交流群請先[填寫下你的 NebulaGraph 名片](https://wj.qq.com/s2/8321168/8e2f)，NebulaGraph 小助手會拉你進群~~

>NebulaGraph 的開源地址：https://github.com/vesoft-inc/nebula 覺得使用體驗還不錯的話，給我們的 GitHub 點個 ❤️ 鼓勵下開源路上的我們呢~

複雜場景資料處理的 OLTP 與 OLAP 融合實踐

相關文章