> 本文首發於 [Nebula Graph Community 公眾號](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/WeChatOffical.png)

![Nebula Graph 原始碼解讀系列 ｜ Vol.05 Scheduler 和 Executor 兩兄弟](https://www-cdn.nebula-graph.com.cn/nebula-blog/nebula-graph-source-code-reading-05.png)

上篇我們講述了 Query Engine Optimizer 部分的內容，在本文我們講解下 Query Engine 剩下的 Scheduler 和 Executor 部分。

## 概述

在執行階段，執行引擎透過 Scheduler（排程器）將 Planner 生成的物理執行計劃轉換為一系列 Executor，驅動 Executor 的執行。
Executor，即執行器，物理執行計劃中的每個 PlanNode 都會對應一個 Executor。

## 原始碼定位

排程器的原始碼在 `src/scheduler` 目錄下：
```
src/scheduler
├── AsyncMsgNotifyBasedScheduler.cpp
├── AsyncMsgNotifyBasedScheduler.h
├── CMakeLists.txt
├── Scheduler.cpp
└── Scheduler.h
```
Scheduler 抽象類定義了排程器的公共介面，可以繼承該類實現多種排程器。
目前實現了 AsyncMsgNotifyBasedScheduler 排程器，它基於非同步訊息通訊與廣度優先搜尋避免棧溢位。
執行器的原始碼在 `src/executor` 目錄下：
```
src/executor
├── admin
├── algo
├── CMakeLists.txt
├── ExecutionError.h
├── Executor.cpp
├── Executor.h
├── logic
├── maintain
├── mutate
├── query
├── StorageAccessExecutor.cpp
├── StorageAccessExecutor.h
└── test
```

## 執行過程

首先，排程器從執行計劃的根節點開始透過使用廣度優先搜尋演算法遍歷整個執行計劃並根據節點間的執行依賴關係，構建它們的訊息通知機制。
執行時，每個節點收到它的所依賴的節點全部執行完畢的訊息後，會被排程執行。一旦自身執行完成，又會傳送訊息給依賴自己的節點，直至整個計劃執行完畢。

```C++
void AsyncMsgNotifyBasedScheduler::runExecutor(
    std::vector<:future>>&& futures,
    Executor* exe,
    folly::Executor* runner,
    std::vector<:promise>>&& promises) const {
    folly::collect(futures).via(runner).thenTry(
        [exe, pros = std::move(promises), this](auto&& t) mutable {
            if (t.hasException()) {
                return notifyError(pros, Status::Error(t.exception().what()));
            }
            auto status = std::move(t).value();
            auto depStatus = checkStatus(std::move(status));
            if (!depStatus.ok()) {
                return notifyError(pros, depStatus);
            }
            // Execute in current thread.
            std::move(execute(exe)).thenTry(
                [pros = std::move(pros), this](auto&& exeTry) mutable {
                    if (exeTry.hasException()) {
                        return notifyError(pros, Status::Error(exeTry.exception().what()));
                    }
                    auto exeStatus = std::move(exeTry).value();
                    if (!exeStatus.ok()) {
                        return notifyError(pros, exeStatus);
                    }
                    return notifyOK(pros);
                });
        });
}
```

每個 Executor 會經歷 create-open-execute-close 四個階段：

### create

根據節點型別生成對應的 Executor。

### open

在 Executor 正式執行前做一些初始化操作，以及慢查詢終止和記憶體水位的判斷。
Nebula 支援手動 `kill` 掉某個查詢語句的執行，因此每個 Executor 執行前需要檢查下當前執行計劃狀態，若被標記為 `killed`，則終止執行。
每個 Query 型別的 Executor 執行前，還需要檢查當前系統所佔用記憶體是否達到記憶體水位。若達到記憶體水位，則終止執行，這能在一定程度上避免 OOM。

```C++
Status Executor::open() {
    if (qctx_->isKilled()) {
        VLOG(1) << "Execution is being killed. session: " << qctx()->rctx()->session()->id()
            << "ep: " << qctx()->plan()->id()
            << "query: " << qctx()->rctx()->query();
        return Status::Error("Execution had been killed");
    }
    auto status = MemInfo::make();
    NG_RETURN_IF_ERROR(status);
    auto mem = std::move(status).value();
    if (node_->isQueryNode() && mem->hitsHighWatermark(FLAGS_system_memory_high_watermark_ratio)) {
        return Status::Error(
            "Used memory(%ldKB) hits the high watermark(%lf) of total system memory(%ldKB).",
            mem->usedInKB(),
            FLAGS_system_memory_high_watermark_ratio,
            mem->totalInKB());
    }
    numRows_ = 0;
    execTime_ = 0;
    totalDuration_.reset();
    return Status::OK();
}
```

### execute

Query 型別的 Executor 的輸入和輸出都是一張表（DataSet）。
Executor 的執行基於迭代器模型：每次計算時，呼叫輸入表的迭代器的 `next()` 方法，獲取一行資料，進行計算，直至輸入表被遍歷完畢。
計算的結果構成一張新表，輸出給後續的 Executor 作為輸出。

```C++
folly::Future<status> ProjectExecutor::execute() {
    SCOPED_TIMER(&execTime_);
    auto* project = asNode<project>(node());
    auto columns = project->columns()->columns();
    auto iter = ectx_->getResult(project->inputVar()).iter();
    DCHECK(!!iter);
    QueryExpressionContext ctx(ectx_);

VLOG(1) << "input: " << project->inputVar();
    DataSet ds;
    ds.colNames = project->colNames();
    ds.rows.reserve(iter->size());
    for (; iter->valid(); iter->next()) {
        Row row;
        for (auto& col : columns) {
            Value val = col->expr()->eval(ctx(iter.get()));
            row.values.emplace_back(std::move(val));
        }
        ds.rows.emplace_back(std::move(row));
    }
    VLOG(1) << node()->outputVar() << ":" << ds;
    return finish(ResultBuilder().value(Value(std::move(ds))).finish());
}
```

如果當前 Executor 的輸入表不會被其他 Executor 作為輸入時，這些輸入表所用的記憶體會在執行階段被 drop 掉，減小記憶體佔用。

```C++
void Executor::drop() {
    for (const auto &inputVar : node()->inputVars()) {
        if (inputVar != nullptr) {
            // Make sure use the variable happened-before decrement count
            if (inputVar->userCount.fetch_sub(1, std::memory_order_release) == 1) {
                // Make sure drop happened-after count decrement
                CHECK_EQ(inputVar->userCount.load(std::memory_order_acquire), 0);
                ectx_->dropResult(inputVar->name);
                VLOG(1) << "Drop variable " << node()->outputVar();
            }
        }
    }
}
```

### close

Executor 執行完畢後，將收集到的一些執行資訊如執行時間，輸出表的行數等新增到 profiling stats 中。
使用者可以在 profile 一個語句後顯示的執行計劃中檢視這些統計資訊。

```

Execution Plan (optimize time 141 us)

-----+------------------+--------------+-----------------------------------------------------+--------------------------------------
| id | name             | dependencies | profiling data                                      | operator info                       |
-----+------------------+--------------+-----------------------------------------------------+--------------------------------------
|  2 | Project          | 3            | ver: 0, rows: 56, execTime: 147us, totalTime: 160us | outputVar: [                        |
|    |                  |              |                                                     |   {                                 |
|    |                  |              |                                                     |     "colNames": [                   |
|    |                  |              |                                                     |       "VertexID",                   |
|    |                  |              |                                                     |       "player.age"                  |
|    |                  |              |                                                     |     ],                              |
|    |                  |              |                                                     |     "name": "__Project_2",          |
|    |                  |              |                                                     |     "type": "DATASET"               |
|    |                  |              |                                                     |   }                                 |
|    |                  |              |                                                     | ]                                   |
|    |                  |              |                                                     | inputVar: __TagIndexFullScan_1      |
|    |                  |              |                                                     | columns: [                          |
|    |                  |              |                                                     |   "$-.VertexID AS VertexID",        |
|    |                  |              |                                                     |   "player.age"                      |
|    |                  |              |                                                     | ]                                   |
-----+------------------+--------------+-----------------------------------------------------+--------------------------------------
|  3 | TagIndexFullScan | 0            | ver: 0, rows: 56, execTime: 0us, totalTime: 6863us  | outputVar: [                        |
|    |                  |              |                                                     |   {                                 |
|    |                  |              |                                                     |     "colNames": [                   |
|    |                  |              |                                                     |       "VertexID",                   |
|    |                  |              |                                                     |       "player.age"                  |
|    |                  |              |                                                     |     ],                              |
|    |                  |              |                                                     |     "name": "__TagIndexFullScan_1", |
|    |                  |              |                                                     |     "type": "DATASET"               |
|    |                  |              |                                                     |   }                                 |
|    |                  |              |                                                     | ]                                   |
|    |                  |              |                                                     | inputVar:                           |
|    |                  |              |                                                     | space: 318                          |
|    |                  |              |                                                     | dedup: false                        |
|    |                  |              |                                                     | limit: 9223372036854775807          |
|    |                  |              |                                                     | filter:                             |
|    |                  |              |                                                     | orderBy: []                         |
|    |                  |              |                                                     | schemaId: 319                       |
|    |                  |              |                                                     | isEdge: false                       |
|    |                  |              |                                                     | returnCols: [                       |
|    |                  |              |                                                     |   "_vid",                           |
|    |                  |              |                                                     |   "age"                             |
|    |                  |              |                                                     | ]                                   |
|    |                  |              |                                                     | indexCtx: [                         |
|    |                  |              |                                                     |   {                                 |
|    |                  |              |                                                     |     "columnHints": [],              |
|    |                  |              |                                                     |     "index_id": 325,                |
|    |                  |              |                                                     |     "filter": ""                    |
|    |                  |              |                                                     |   }                                 |
|    |                  |              |                                                     | ]                                   |
-----+------------------+--------------+-----------------------------------------------------+--------------------------------------
|  0 | Start            |              | ver: 0, rows: 0, execTime: 1us, totalTime: 19us     | outputVar: [                        |
|    |                  |              |                                                     |   {                                 |
|    |                  |              |                                                     |     "colNames": [],                 |
|    |                  |              |                                                     |     "type": "DATASET",              |
|    |                  |              |                                                     |     "name": "__Start_0"             |
|    |                  |              |                                                     |   }                                 |
|    |                  |              |                                                     | ]                                   |
-----+------------------+--------------+-----------------------------------------------------+--------------------------------------  
```  
以上，原始碼解析 Query Engine 相關的模組就講解完畢了，後續將講解部分特性內容。

交流圖資料庫技術？加入 Nebula 交流群請先[填寫下你的 Nebula 名片](https://wj.qq.com/s2/8321168/8e2f/)，Nebula 小助手會拉你進群~~

【活動】Nebula Hackathon 2021 進行中，一起來探索未知，領取 ¥ 150,000 獎金 →→ [https://nebula-graph.com.cn/hackathon/](https://nebula-graph.com.cn/hackathon/)</project></status></:promise></:future>

Nebula Graph 原始碼解讀系列｜ Vol.05 Scheduler 和 Executor 兩兄弟

相關文章

Nebula Graph 原始碼解讀系列 ｜ Vol.05 Scheduler 和 Executor 兩兄弟

相關文章

Nebula Graph 原始碼解讀系列｜ Vol.05 Scheduler 和 Executor 兩兄弟