> 本文首發於 **[Nebula Graph Community 公眾號](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/WeChatOffical.png)**

![在 Nebula K8s 叢集中使用 nebula-spark-connector 和 nebula-algorithm](https://www-cdn.nebula-graph.com.cn/nebula-blog/k8s-and-spark-connector.jpeg)

## 解決思路

解決 K8s 部署 Nebula Graph 叢集后連線不上叢集問題最方便的方法是將 nebula-algorithm / nebula-spark 執行在與 nebula-operator 相同的網路名稱空間裡，將 `show hosts meta` 的 MetaD `域名:埠` 格式的地址填進配置裡就可以了。

注：這裡需要 2.6.2 或者更新的版本，nebula-spark-connector / nebula-algorithm 才支援域名形式的 MetaD 地址。

這裡來具體實操下網路配置：

- 獲取 MetaD 地址

Mon, 14 Feb 2022 08:22:33 UTC
```

這裡需要記錄 Host 名以便後續的配置檔案中使用該名稱。

- 填寫 nebula-algorithm 的配置檔案

參考文件 [https://github.com/vesoft-inc/nebula-algorithm/blob/master/nebula-algorithm/src/main/resources/application.conf](https://github.com/vesoft-inc/nebula-algorithm/blob/master/nebula-algorithm/src/main/resources/application.conf)。填寫配置檔案有兩種方法：修改 TOML 檔案或者在 nebula-spark-connector 程式碼中新增配置資訊。

方法一：修改 TOML 檔案

```toml
# ...
  nebula: {
    # algo's data source from Nebula. If data.source is nebula, then this nebula.read config can be valid.
    read: {
        # 這裡填上剛獲得到的 meta 的 Host 名，多個地址的話用英文字元下的逗號隔開；
         metaAddress: "nebula-metad-0.nebula-metad-headless.default.svc.cluster.local:9559"
#...

```

方法二：呼叫 nebula-spark-connector 的程式碼

> Ref: https://github.com/vesoft-inc/nebula-spark-connector

```scala
  val config = NebulaConnectionConfig
    .builder()
// 這裡填上剛獲得到的 meta 的 Host 名
    .withMetaAddress("nebula-metad-0.nebula-metad-headless.default.svc.cluster.local:9559")
    .withConenctionRetry(2)
    .build()
  val nebulaReadVertexConfig: ReadNebulaConfig = ReadNebulaConfig
    .builder()
    .withSpace("foo_bar_space")
    .withLabel("person")
    .withNoColumn(false)
    .withReturnCols(List("birthday"))
    .withLimit(10)
    .withPartitionNum(10)
    .build()
  val vertex = spark.read.nebula(config, nebulaReadVertexConfig).loadVerticesToDF()
```

好的，到現在為止，過程看起來非常簡單。那麼，為什麼這麼簡單的過程卻值得一篇文章呢？

## 配置資訊容易忽略的問題

剛才我們講了具體的實際操作，但當中有一些理論小知識在這裡：

a. MetaD 隱含地需要保證 StorageD 的地址能被 Spark 環境訪問；

b. StorageD 地址是從 MetaD 獲取的；

c. Nebula K8s Operator 裡，MetaD 中儲存的 StorageD 地址（服務發現）的來源是 StorageD 的配置檔案，而它是 K8s 的內部地址。

### 背景知識

**a.** 的理由比較直接，和 Nebula 的架構有關：圖的資料都存在 Storage Service 之中，通常用語句的查詢是透過 Graph Service 來透傳，只需要 GraphD 的連線就足夠，而 nebula-spark-connector 使用 Nebula Graph 的場景是掃描全圖或者子圖，這時候計算儲存分離的設計使得我們可以繞過查詢、計算層直接高效讀取圖資料。

那麼問題來了，為什麼需要且只要 MetaD 的地址呢？

這也是和架構有關，Meta Service 裡包含了全圖的分佈資料與分散式的 Storage Service 的各個分片和例項的分佈，所以一方面因為只有 Meta 才有全圖的資訊（需要），另一方面因為從 Meta 可以獲得這部分資訊（只要）。到這裡 **b.** 的答案也有了。

- 詳細的 Nebula Graph 架構資訊可以參考架構三部曲系列
    - [Nebula 架構剖析系列（零）圖資料庫的整體架構設計](https://mp.weixin.qq.com/s/wGWNJSD0puQzGey0_zcnSw)
    - [Nebula 架構剖析系列（一）圖資料庫的儲存設計](https://mp.weixin.qq.com/s/Vuv5jfMXBGCO5eHOY1dCKw)
    - [Nebula 架構剖析系列（二）圖資料庫的查詢引擎設計](https://mp.weixin.qq.com/s/UjcXOrSeXZ6p9N_eoL6BkQ)

![](https://docs-cdn.nebula-graph.com.cn/docs-2.0/1.introduction/2.nebula-graph-architecture/nebula-graph-architecture-1.png)

下面我們看看 **c.** 背後的邏輯：

> c. Nebula K8s Operator 裡，MetaD 中儲存的 StorageD 地址（服務發現）的來源是 StorageD 的配置檔案，而它是 k8s 的內部地址。

這和 Nebula Graph 裡的服務發現機制有關：在 Nebula Graph 叢集中，Graph Service 和 Storage Service 都是透過心跳將自己的資訊上報給 Meta Service 的，而這其中服務自身的地址的來源則來自於他們相應的配置檔案中的網路配置。

- 關於服務自身的地址配置請參考文件：[Storage networking 配置](https://docs.nebula-graph.com.cn/3.0.0/5.configurations-and-logs/1.configurations/4.storage-config/#networking)

- 關於服務發現詳細的資訊請參考四王的文章：[圖資料庫 Nebula Graph 叢集通訊：從心跳說起](https://mp.weixin.qq.com/s/1-01vPETe6rHos7c684qHg)。

![metad storaged graphd 通訊](https://www-cdn.nebula-graph.com.cn/nebula-blog/nebula-graph-metad-storaged-graphd-v-r-family.png)

最後，我們知道 Nebula Operator 是一個在 K8s 叢集中按照配置，自動建立、維護、擴縮容 Nebula 叢集的 K8s 控制面的應用，它需要抽象一部分內部資源相關的配置，這就包括了 GraphD 和 StorageD 例項的實際地址，他們是被配置的地址實際上是 [headless service 地址](https://kubernetes.io/zh/docs/concepts/services-networking/service/#headless-services)。

而這些地址（如下）預設是沒法被 K8s 外部網路訪問的，所以針對 GraphD、MetaD 我們可以方便建立服務將其暴露出來。

Mon, 14 Feb 2022 09:22:33 UTC

Mon, 14 Feb 2022 10:03:58 UTC

Mon, 14 Feb 2022 10:05:24 UTC
```

然而，因為前邊提到的 nebula-spark-connector 透過 Meta Service 去獲取 StorageD 的地址，且這個地址是服務發現而得，所以 nebula-spark-connector 實際上獲取的 StorageD 地址就是上邊的這種 headless 的服務地址，沒法直接從外部訪問。

所以，我們在有條件的情況下，只需要讓 Spark 執行在和 Nebula Cluster 相同的 K8s 網路裡，一切就迎刃而解了，否則，我們需要：

1. 將 MetaD 和 StorageD 的地址利用 Ingress 等方式將其 L4（TCP）暴露出來。

可以參考 Nebula Operator 的文件：[https://github.com/vesoft-inc/nebula-operator](https://github.com/vesoft-inc/nebula-operator)

2. 透過反向代理和DNS讓這些 headless 服務能被解析到相應的 StorageD。

那麼，有沒有更方便的方式？

非常抱歉的是，目前最方便的方式依然是如文章最開頭所介紹：讓 Spark 執行在 Nebula Cluster 內部。實際上，我在努力推進 Nebula Spark 社群去支援可以配置的 StorageAddresses 選項，有了它之後，前邊提到的 **2.** 就是不必要的了。

## 更便捷的 nebula-algorithm + nebula-operator 體驗

為了方便在 K8s 上嚐鮮 nebula-graph、nebula-algorithm 的同學，這裡安利下本人寫的一個小工具 [Neubla-Operator-KinD](https://github.com/wey-gu/nebula-operator-kind)，它是個一鍵在 Docker 環境內部單獨部署一個 K8s 叢集，並在其中部署 Nebula Operator 以及所有依賴（包括 storage provider）的小工具。不僅如此，它還會自動部署一個小的 Nebula 叢集。可以看下邊的步驟哈：

第一步，部署 K8s + nebula-operator + Nebula Cluster：

```bash
curl -sL nebula-kind.siwei.io/install.sh | bash
```

![install_success](https://github.com/wey-gu/nebula-operator-kind/raw/main/images/install_success.webp)

第二步，照著工具文件裡的 [what's next](https://github.com/wey-gu/nebula-operator-kind#whats-next)

a. 用 console 連線叢集，並載入示例資料集

b. [在這個 K8s 裡跑一個圖演算法](https://github.com/wey-gu/nebula-operator-kind/blob/main/README.md#try-nebula-algorithm)

- 建立一個 Spark 環境

```
kubectl create -f http://nebula-kind.siwei.io/deployment/spark.yaml
kubectl wait pod --timeout=-1s --for=condition=Ready -l '!job-name'
```

- 等上邊的 wait 都 ready 之後，進入 spark 的 pod。

```
kubectl exec -it deploy/spark-deployment -- bash
```

- 下載 nebula-algorithm 比如 `2.6.2` 這個版本，更多版本請參考 https://github.com/vesoft-inc/nebula-algorithm/。

注意事項：
- 官方釋出的版本在這裡可以獲取：https://repo1.maven.org/maven2/com/vesoft/nebula-algorithm/
- 因為這個問題：https://github.com/vesoft-inc/nebula-algorithm/issues/42 只有 `2.6.2` 或者更新的版本才支援域名訪問 MetaD。

```
# 下載 nebula-algorithm-2.6.2.jar
wget https://repo1.maven.org/maven2/com/vesoft/nebula-algorithm/2.6.2/nebula-algorithm-2.6.2.jar
# 下載 nebula-algorthm 配置檔案
wget https://github.com/vesoft-inc/nebula-algorithm/raw/v2.6/nebula-algorithm/src/main/resources/application.conf
```

- 修改 nebula-algorithm 中的 mete 和 graph 地址資訊。

```
sed -i '/^        metaAddress/c\        metaAddress: \"nebula-metad-0.nebula-metad-headless.default.svc.cluster.local:9559\"' application.conf
sed -i '/^        graphAddress/c\        graphAddress: \"nebula-graphd-0.nebula-graphd-svc.default.svc.cluster.local:9669\"' application.conf
##### change space
sed -i '/^        space/c\        space: basketballplayer' application.conf
##### read data from nebula graph
sed -i '/^    source/c\    source: nebula' application.conf
##### execute algorithm: labelpropagation
sed -i '/^    executeAlgo/c\    executeAlgo: labelpropagation' application.conf
```

- 在 basketballplayer 圖空間執行 LPA 演算法

```
/spark/bin/spark-submit --master "local" --conf spark.rpc.askTimeout=6000s \
    --class com.vesoft.nebula.algorithm.Main \
    nebula-algorithm-2.6.2.jar \
    -p application.conf
```

- 結果如下：

```
bash-5.0# ls /tmp/count/
_SUCCESS                                                  part-00000-5475f9f4-66b9-426b-b0c2-704f946e54d3-c000.csv
bash-5.0# head /tmp/count/part-00000-5475f9f4-66b9-426b-b0c2-704f946e54d3-c000.csv
_id,lpa
1100,1104
2200,2200
2201,2201
1101,1104
2202,2202
```

下面，你就可以 Happy Graphing 啦!

---

交流圖資料庫技術？加入 Nebula 交流群請先[填寫下你的 Nebula 名片](https://wj.qq.com/s2/8321168/8e2f/)，Nebula 小助手會拉你進群~~

[關注公眾號](https://www-cdn.nebula-graph.com.cn/nebula-blog/WeChatOffical.png)

在 Nebula K8s 叢集中使用 nebula-spark-connector 和 nebula-algorithm

相關文章