> 本文首發於 **[Nebula Graph Community 公眾號](https://c1n.cn/mUzKD)**

![640.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4d80e39c01844a85a3cacc578bef3c3f~tplv-k3u1fbpfcp-zoom-1.image)
> 本次實踐是基於業務需求及後續擴充套件，透過技術選型確定了 Nebula Graph 圖資料庫，首先需要驗證 Nebula Graph 資料庫在實際業務場景下批次匯入效能並驗證。透過 Spark On Yarn 分散式任務執行匯入工作，CSV 檔案放在 HDFS 上，分享下個人 Nebula Spark Connector 最佳實踐。。

## 一、Nebula Spark Connector 概念、適用場景、優勢

這裡不做贅述，僅截圖展示，更多詳情可參考：[https://docs.nebula-graph.com.cn/nebula-spark-connector/](https://docs.nebula-graph.com.cn/nebula-spark-connector/)。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c4ce497bb9d9425387bb338457f97916~tplv-k3u1fbpfcp-zoom-1.image)

## 二、環境資訊

* 硬體環境

| 名稱       | 值 |         推薦 |
| :--------- | :--: | -----------: |
| 本地磁碟 SSD     |  2 T  |   至少 2 T   |
| CPU   |  16 C * 4  |   128 C |
| 記憶體 |  128 GB  | 128 G |

* 軟體環境

| 名稱       | 版本號 |
| :--------- | :--: |
| Nebula Graph     |  3.0.0  |
| Nebula Spark Connector   |  3.0.0  |
| Hadoop |  2.7.2U17-10  |
| Spark |  2.4.5U5  |

* 資料量級

| 名稱       | 值 |
| :--------- | :--: |
| 資料量     |  200 G  |
| 實體 Vertext     |  9.3 億  |
| 關係 Edge     |  9.7 億  |

## 三、部署方案

* 部署方式：分散式，3 個節點  
* 參考官網即可：[https://docs.nebula-graph.com.cn/3.0.1/4.deployment-and-installation/2.compile-and-install-nebula-graph/deploy-nebula-graph-cluster/](https://docs.nebula-graph.com.cn/3.0.1/4.deployment-and-installation/2.compile-and-install-nebula-graph/deploy-nebula-graph-cluster/)

大體也就三部曲：

1. 下載核心 RPM 包並安裝；
2. 批次修改配置檔案；
3. 啟動叢集服務。

以下操作使用的 root，非 root 就加個 sudo 執行即可。

### 下載 Nebula Graph RPM 包並安裝

執行下面命令：
```
wget https://os-cdn.nebula-graph.com.cn/package/3.0.0/nebula-graph-3.0.0.el7.x86_64.rpm
wget https://oss-cdn.nebula-graph.com.cn/package/3.0.0/nebula-graph-3.0.0.el7.x86_64.rpm.sha256sum.txt
rpm -ivh nebula-graph-3.0.0.el7.x86_64.rpm
```
注：預設安裝路徑：`/usr/local/nebula/`，務必保證所在磁碟空間充足。

### 批次修改配置檔案

```
sed -i 's?--meta_server_addrs=127.0.0.1:9559?--meta_server_addrs=172.16.8.15:9559,172.16.8.176:9559,172.16.10.149:9559?g' *.conf
sed -i 's?--local_ip=127.0.0.1?--local_ip=172.16.10.149?g' *.conf
sed -i 's?--meta_server_addrs=127.0.0.1:9559?--meta_server_addrs=172.16.8.15:9559,172.16.8.176:9559,172.16.10.149:9559?g' *.conf
sed -i 's?--local_ip=127.0.0.1?--local_ip=172.16.8.15?g' *.conf
sed -i 's?--meta_server_addrs=127.0.0.1:9559?--meta_server_addrs=172.16.8.15:9559,172.16.8.176:9559,172.16.10.149:9559?g' *.conf
sed -i 's?--local_ip=127.0.0.1?--local_ip=172.16.8.176?g' *.conf
```
注：ip 地址是內網地址，用來叢集間通訊。

啟動之後，增加 Storage 服務：
```
ADD HOSTS 172.x.x.15:9779,172.1x.x.176:9779,172.x.1x.149:9779;
```
注：增加 Storage 服務為 v3.x 版本以上所需操作，如果你使用的是 v2.x 可忽略本步驟。

### 啟動叢集服務
```
/usr/local/nebula/scripts/nebula.service start all
```
上述命令啟動服務，執行下面命令檢查服務是否啟動成功：
```
ps aux|grep nebula
```
結果如下 3 個服務程式：
```
/usr/local/nebula/bin/nebula-metad --flagfile /usr/local/nebula/etc/nebula-metad.conf
/usr/local/nebula/bin/nebula-graphd --flagfile /usr/local/nebula/etc/nebula-graphd.conf
/usr/local/nebula/bin/nebula-storaged --flagfile /usr/local/nebula/etc/nebula-storaged.conf
```
注：如果少於 3 個，就多執行幾次 `/usr/local/nebula/scripts/nebula.service start all`，再不行就 `restart`。

## 三、視覺化服務

我選擇的是 Nebula Graph Studio，訪問：http://n01v:7001 即可使用 Studio（注：這裡是我自己的網路環境，讀者不可訪問）

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6232d55533b14b92b707563b0969d540~tplv-k3u1fbpfcp-zoom-1.image)

* 登入：`10.x.x.1（任意節點）:9669 `
* 使用者名稱/密碼：root/nebula

這裡可以閱讀下官方文件的常用 nGQL 命令：[https://docs.nebula-graph.com.cn/3.0.1/2.quick-start/4.nebula-graph-crud](https://docs.nebula-graph.com.cn/3.0.1/2.quick-start/4.nebula-graph-crud/)

### 開始使用 Nebula Graph

註冊 Nebula 叢集：
```
ADD HOSTS 172.x.x.121:9779, 172.16.11.218:9779,172.16.12.12:9779;
```
列出所有節點，檢視 STATUS 列是否為 ONLINE，可透過 `SHOW HOSTS;` 或 `SHOW HOSTS META;`。

建立 Space，等價於傳統資料庫 database：
```
CREATE SPACE mylove (partition_num = 15, replica_factor = 3, vid_type = FIXED_STRING(256));//分割槽數推薦為節點數的5倍關係，副本數為基數，一般設定為3，vid如果為string型別，長度儘量夠用就行，否則佔用磁碟空間太多。
```

建立 Tag，等價於實體 Vertex：
```
CREATE TAG entity (name string NULL, version string NULL);  
```

建立 Edge，等價於關係 Edge：
```
CREATE EDGE relation (name string NULL);  
```

查詢時，務必新增 `LIMIT`，否則容易查死庫：
```
match (v) return v limit 100;
```

## 四、（本文重點）使用 Spark Connector 讀取 CSV 及入庫

這裡可以參考 2 份資料：

* 官方的 NebulaSparkWriterExample（scala-json 格式）：[https://github.com/vesoft-inc/nebula-spark-utils/blob/master/example/src/main/scala/com/vesoft/nebula/examples/connector/NebulaSparkWriterExample.scala](https://github.com/vesoft-inc/nebula-spark-utils/blob/master/example/src/main/scala/com/vesoft/nebula/examples/connector/NebulaSparkWriterExample.scala)

* 大神提供的 NebulaSparkWriterExample（java-json格式）：[https://www.jianshu.com/p/930e0343a28c](https://www.jianshu.com/p/930e0343a28c)

附上 NebulaSparkWriterExample 的示例程式碼：

```scala
import com.facebook.thrift.protocol.TCompactProtocol
import com.vesoft.nebula.connector.{
  NebulaConnectionConfig,
  WriteMode,
  WriteNebulaEdgeConfig,
  WriteNebulaVertexConfig
}
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import org.slf4j.LoggerFactory

object NebulaSparkWriter {
  private val LOG = LoggerFactory.getLogger(this.getClass)
  var ip = ""

def main(args: Array[String]): Unit = {
    val part = args(0)
    ip = args(1)

val sparkConf = new SparkConf
    sparkConf
      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      .registerKryoClasses(Array[Class[_]](classOf[TCompactProtocol]))
    val spark = SparkSession
      .builder()
      .master("local")
      .config(sparkConf)
      .getOrCreate()
    spark.sparkContext.setLogLevel("WARN")

if("1".equalsIgnoreCase(part)) writeVertex(spark)
    if("2".equalsIgnoreCase(part)) writeEdge(spark)

spark.close()
  }

def getNebulaConnectionConfig(): NebulaConnectionConfig = {
    val config =
      NebulaConnectionConfig
        .builder()
        .withMetaAddress(ip + ":9559")
        .withGraphAddress(ip + ":9669")
        .withTimeout(Integer.MAX_VALUE)
        .withConenctionRetry(5)
        .build()
    config
  }

def writeVertex(spark: SparkSession): Unit = {
    LOG.info("start to write nebula vertices: 1 entity")
    val df = spark.read.option("sep", "\t").csv("/home/2022/project/origin_file/csv/tag/entity/").toDF("id", "name", "version")

val config = getNebulaConnectionConfig()
    val nebulaWriteVertexConfig: WriteNebulaVertexConfig = WriteNebulaVertexConfig
      .builder()
      .withSpace("mywtt")
      .withTag("entity")
      .withVidField("id")
      .withVidAsProp(false)
      .withUser("root")
      .withPasswd("nebula")
      .withBatch(1800)
      .build()
    df.coalesce(1400).write.nebula(config, nebulaWriteVertexConfig).writeVertices()
  }

def writeEdge(spark: SparkSession): Unit = {
    LOG.info("start to write nebula edges: 2 entityRel")
    val df = spark.read.option("sep", "\t").csv("/home/2022/project/origin_file/csv/out/rel/relation/").toDF("src", "dst", "name")

val config = getNebulaConnectionConfig()
    val nebulaWriteEdgeConfig: WriteNebulaEdgeConfig = WriteNebulaEdgeConfig
      .builder()
      .withSpace("mywtt")
      .withEdge("relation")
      .withSrcIdField("src")
      .withDstIdField("dst")
      .withSrcAsProperty(false)
      .withDstAsProperty(false)
      .withUser("root")
      .withPasswd("nebula")
      .withBatch(1800)
      .build()
    df.coalesce(1400).write.nebula(config, nebulaWriteEdgeConfig).writeEdges()
  }
}
```

### 重點詳解 NebulaSparkWriterExample 示例程式碼

這裡講解一些函式項：

- `spark.sparkContext.setLogLevel("WARN")`：設定日誌列印級別，防止 INFO 干擾；
- `withTimeout(Integer.MAX_VALUE)`：連線超時時間儘量大一些，預設為 1 分鐘，超時次數大於重試次數後，Spark 任務就失敗了；
- `option("sep", "\t")`：指定 CSV 檔案的分隔符，否則就預設為 1 列了；
- `toDF("src", "dst", "name")`：資料集指定 Schema，即 `Dataset<row>` 轉 `DataFrame`，否則就不能指定 `VidField` 了；
- `withVidField("id")`：因為該函式只支援設定列名稱，所以必須定義 Schema；
- `withVidAsProp(false)`：預設 ID 為 VID 欄位，資料就不用重複儲存為屬性了，佔用磁碟空間；
- `withSrcIdField("src")`：設定起始節點的 `IdField`；
- `withDstIdField("dst")`：設定終止節點的 `IdField`；
- `withSrcAsProperty(false)`：節省空間
- `withDstAsProperty(false)`：節省空間
- `withBatch(1000)`：批次大小，`WriteMode.UPDATE` 預設 <=512，`WriteMode.INSERT` 可以設定大一些（千兆網路卡/頻寬 5Gbps /本地 SSD = 1500）
- `coalesce(1500)`：可根據任務併發數調節。單個 partition 資料量過大，容易導致 executor OOM；

## 五、提交任務到 Spark 叢集

```shell
nohup spark-submit  --master yarn --deploy-mode client --class com.xxx.nebula.connector.NebulaSparkWriter --conf spark.dynamicAllocation.enabled=false --conf spark.executor.memoryOverhead=10g  --conf spark.blacklist.enabled=false --conf spark.default.parallelism=1000 --driver-memory 10G --executor-memory 12G --executor-cores 4 --num-executors 180 ./example-3.0-SNAPSHOT.jar >  run-csv-nebula.log 2>&1 &
```

#### 輔助監控 iotop 命令

```shell
Total DISK READ :      26.61 K/s | Total DISK WRITE :     383.77 M/s
Actual DISK READ:      26.61 K/s | Actual DISK WRITE:     431.75 M/s
```

#### 輔助監控 top 命令

```shell
top - 16:03:01 up 8 days, 28 min,  1 user,  load average: 6.16, 6.53, 4.58
Tasks: 205 total,   1 running, 204 sleeping,   0 stopped,   0 zombie
%Cpu(s): 28.3 us, 14.2 sy,  0.0 ni, 56.0 id,  0.6 wa,  0.0 hi,  0.4 si,  0.5 st
KiB Mem : 13186284+total,  1135004 free, 31321240 used, 99406592 buff/cache
KiB Swap:        0 total,        0 free,        0 used. 99641296 avail Mem

PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                         
27979 root      20   0 39.071g 0.026t   9936 S 564.6 20.8  83:22.03 nebula-storaged                                                                 
27920 root      20   0 2187476 804036   7672 S 128.2  0.6  17:13.75 nebula-graphd                                                                   
27875 root      20   0 6484644 1.990g   8588 S  58.5  1.6  14:14.22 nebula-metad     
```

#### 其他資源監控

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/454dbb2402b643daaec9bb237d98652a~tplv-k3u1fbpfcp-zoom-1.image)

## 服務最佳化

### nebula-storaged.conf 配置最佳化

這裡我修改了 `nebula-storaged.conf ` 配置項：

```shell
# 一個批處理操作的預設保留位元組
--rocksdb_batch_size=4096
# BlockBasedTable中使用的預設塊快取大小
# 單位為 MB. 伺服器記憶體128G，一般設定為三分之一
--rocksdb_block_cache=44024

############## rocksdb Options ##############
--rocksdb_disable_wal=true
# rocksdb DBOptions在json中，每個option的名稱和值都是一個字串，如：“option_name”:“option_value”，逗號分隔
--rocksdb_db_options={"max_subcompactions":"3","max_background_jobs":"3"}
# rocksdb ColumnFamilyOptions在json中，每個option的名稱和值都是字串，如：“option_name”:“option_value”，逗號分隔
--rocksdb_column_family_options={"disable_auto_compactions":"false","write_buffer_size":"67108864","max_write_buffer_number":"4","max_bytes_for_level_base":"268435456"}
# rocksdb BlockBasedTableOptions在json中，每個選項的名稱和值都是字串，如：“option_name”:“option_value”，逗號分隔
--rocksdb_block_based_table_options={"block_size":"8192"}

# 每個請求最大的處理器數量
--max_handlers_per_req=10
# 叢集間心跳間隔時間
--heartbeat_interval_secs=10
--raft_rpc_timeout_ms=5000
--raft_heartbeat_interval_secs=10
--wal_ttl=14400
# 批次大小最大值
--max_batch_size=1800
# 引數配置減小記憶體應用
--enable_partitioned_index_filter=true
# 資料在最底層儲存層間接做了過濾，生產環境防止遇到查到超級節點的困擾
--max_edge_returned_per_vertex=10000
```

### Linux 系統最佳化

```shell
ulimit -c unlimited
ulimit -n 130000

sysctl -w net.ipv4.tcp_slow_start_after_idle=0
sysctl -w net.core.somaxconn=2048
sysctl -w net.ipv4.tcp_max_syn_backlog=2048
sysctl -w net.core.netdev_max_backlog=3000
sysctl -w kernel.core_uses_pid=1
```

## 六、驗證匯入結果

```shell
SUBMIT JOB STATS;
SHOW JOB ${ID}
SHOW STATS;
```

* 實體插入速率大約 `27,837 條/s` (僅適用本次匯入效能計算)
* 關係插入速率大約 `26,276 條/s` (僅適用本次匯入效能計算)
* 如果伺服器配置更好，效能會更好；另外頻寬、是否跨資料中心、磁碟 IO 也是影響效能因素，甚至是網路波動等。

```linux
[root@node02 nebula]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        50G  2.2G   48G   5% /
/dev/sdb1       2.0T  283G  1.6T  16% /usr/local/nebula
tmpfs            13G     0   13G   0% /run/user/62056
```

## 七、效能測試

* 根據屬性查詢指定節點：
```
MATCH (v:entity) WHERE v.entity.name == 'Lifespan' RETURN v; 
```
執行時間消耗 0.002558 (s)

* 一跳
```
MATCH (v1:entity)-[e:propertiesRel]->(v2:attribute) WHERE id(v1) == '70da43c5e46f56c634547c7aded3639aa8a1565975303218e2a92af677a7ee3a' RETURN v2 limit 100;  
```
執行時間消耗 0.003571 (s)

* 兩跳
```
MATCH p=(v1:entity)-[e:propertiesRel*1..2]->(v2) WHERE id(v1) == '70da43c5e46f56c634547c7aded3639aa8a1565975303218e2a92af677a7ee3a' RETURN p;
```
執行時間消耗 0.005143 (s)

* 獲取邊的所有屬性值
```
FETCH PROP ON propertiesRel '70da43c5e46f56c634547c7aded3639aa8a1565975303218e2a92af677a7ee3a' -> '0000002d2e88d7ba6659db83893dedf3b8678f3f80de4ffe3f8683694b63a256' YIELD properties(edge);   
```
執行時間消耗 0.001304 (s)
```
match p=(v:entity{name:"張三"})-[e:entityRel|propertiesRel*1]->(v2) return p;
```
執行時間消耗 0.02986 (s) 
```
match p=(v:entity{name:"張三"})-[e:entityRel|propertiesRel*2]->(v2) return p; 
```
執行時間消耗 執行時間消耗 0.07937 (s) 
```
match p=(v:entity{name:"張三"})-[e:entityRel|propertiesRel*3]->(v2) return p; 
```
執行時間消耗 0.269 (s) 
```
match p=(v:entity{name:"張三"})-[e:entityRel|propertiesRel*4]->(v2) return p;
```
執行時間消耗 3.524859 (s)
```
match p=(v:entity{name:"張三"})-[e:entityRel|propertiesRel*1..2]->(v2) return p; 
```
執行時間消耗 0.072367 (s) 
```
match p=(v:entity{name:"張三"})-[e:entityRel|propertiesRel*1..3]->(v2) return p;
```
執行時間消耗 0.279011 (s) 
```
match p=(v:entity{name:"張三"})-[e:entityRel|propertiesRel*1..4]->(v2) return p; 
```
執行時間消耗 3.728018 (s)

* 查詢點A_vid到點B_vid的最短路徑(雙向)，攜帶點和邊的屬性：
```
FIND SHORTEST PATH WITH PROP FROM "70da43c5e46f56c634547c7aded3639aa8a1565975303218e2a92af677a7ee3a" TO "0000002d2e88d7ba6659db83893dedf3b8678f3f80de4ffe3f8683694b63a256" OVER * BIDIRECT YIELD path AS p; 
```
執行時間消耗 0.003096 (s)
```
FIND ALL PATH FROM "70da43c5e46f56c634547c7aded3639aa8a1565975303218e2a92af677a7ee3a" TO "0000002d2e88d7ba6659db83893dedf3b8678f3f80de4ffe3f8683694b63a256" OVER * WHERE propertiesRel.name is not EMPTY or propertiesRel.name >=0 YIELD path AS p;
```
執行時間消耗 0.003656 (s)

## 八、遇到的問題：

### 1.guava 依賴包版本衝突問題

```shell
Caused by: java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.createStarted()Lcom/google/common/base/Stopwatch;
```

經排查發現依賴的一個模組使用 guava 版本 22.0，而 Spark 叢集自帶 14.0，導致衝突，而無法正常工作。執行在 Spark 叢集上的任務，Spark 載入 guava 包優先順序高於自己的包。

我們依賴的包使用到 guava 版本 22.0 中比較新的方法，而在 14.0 版本還沒有這樣的方法。在不能修改對方程式碼的前提下，有如下方案：

1. spark 叢集的包升級一下，風險較高，容易造成未知問題。
2. 另外一種方式是利用 Maven 外掛重新命名自己的 guava 包。

這裡採用了第二種方式，利用 Maven 外掛 shade（連結：[https://maven.apache.org/plugins/maven-shade-plugin/](https://maven.apache.org/plugins/maven-shade-plugin/)）重新命名包解決問題。

```shell
<plugin>
    <groupid>org.apache.maven.plugins</groupid>
    <artifactid>maven-shade-plugin</artifactid>
    <version>3.2.4</version>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>shade</goal>
            </goals>
            <configuration>
                <relocations>
                    <relocation>
                        <pattern>com.google.common</pattern>
                        <shadedpattern>my_guava.common</shadedpattern>
                    </relocation>
                </relocations>
                <filters>
                    <filter>
                        <artifact>*:*</artifact>
                        <excludes>
                            <exclude>META-INF/maven/**</exclude>
                            <exclude>META-INF/*.SF</exclude>
                            <exclude>META-INF/*.DSA</exclude>
                            <exclude>META-INF/*.RSA</exclude>
                        </excludes>
                    </filter>
                </filters>
            </configuration>
        </execution>
    </executions>
</plugin>
```

#### 2.Spark 黑名單機制問題

```shell
Blacklisting behavior can be configured via spark.blacklist.*.
```
spark.blacklist.enabled，預設值 false。如果這個引數這為 true，那麼 Spark 將不再會往黑名單裡面的執行器排程任務。黑名單演算法可以由其他 `spark.blacklist` 配置選項進一步控制，詳情參見下面的介紹。

## 交流反饋

歡迎到論壇與作者討論交流：[https://discuss.nebula-graph.com.cn](https://discuss.nebula-graph.com.cn)</row>

如何實現十億級離線 CSV 匯入 Nebula Graph

相關文章