![Spark Writer](https://www-cdn.nebula-graph.com.cn/nebula-blog/spark-writer.png)

## 從 Hadoop 說起

近年來隨著大資料的興起，分散式計算引擎層出不窮。[Hadoop](https://hadoop.apache.org/) 是 Apache 開源組織的一個分散式計算開源框架，在很多大型網站上都已經得到了應用。Hadoop 的設計核心思想來源於 Google MapReduce 論文，靈感來自於函式式語言中的 map 和 reduce 方法。在函式式語言中，map 表示針對列表中每個元素應用一個方法，reduce 表示針對列表中的元素做迭代計算。透過 MapReduce 演算法，可以將資料根據某些特徵進行分類規約，處理並得到最終的結果。

## 再談 Apache Spark

[Apache Spark](http://spark.apache.org/) 是一個圍繞速度、易用性構建的通用記憶體平行計算框架。在 2009 年由加州大學伯克利分校 AMP 實驗室開發，並於 2010 年成為 Apache 基金會的開源專案。Spark 借鑑了 Hadoop 的設計思想，繼承了其分散式平行計算的優點，提供了豐富的運算元。

Spark 提供了一個全面、統一的框架用於管理各種有著不同型別資料來源的大資料處理需求，支援批次資料處理與流式資料處理。Spark 支援記憶體計算，效能相比起 Hadoop 有著巨大提升。Spark 支援 Java，Scala 和 Python 三種語言進行程式設計，支援以操作本地集合的方式操作分散式資料集，並且支援互動查詢。除了經典的 MapReduce 操作之外，Spark 還支援 SQL 查詢、流式處理、機器學習和圖計算。

![Spark Stack](https://www-cdn.nebula-graph.com.cn/nebula-blog/spark-stack.png)

彈性分散式資料集（RDD，Resilient Distributed Dataset）是 Spark 最基本的抽象，代表不可變的分割槽資料集。RDD 具有可容錯和位置感知排程的特點。操作 RDD 就如同操作本地資料集合，而不必關心任務排程與容錯等問題。RDD 允許使用者在執行多個查詢時，顯示地將工作集合快取在記憶體中，後續查詢能夠重用該資料集。RDD 透過一系列的轉換就就形成了 DAG，根據 RDD 之間的依賴關係的不同將 DAG 劃分成不同的 Stage。

與 RDD 相似，DataFrame 也是一個不可變分散式資料集合。區別於 RDD，DataFrame 中的資料被組織到有名字的列中，就如同關係型資料庫中的表。設計 DataFrame 的目的就是要讓對大型資料集的處理變得更簡單，允許開發者為分散式資料集指定一個模式，便於進行更高層次的抽象。

DataSet 是一個支援強型別的特定領域物件，這種物件可以函式式或者關係操作並行地轉換。DataSet 就是一些有明確型別定義的 JVM 物件的集合，可以透過 Scala 中定義的 Case Class 或者 Java 中的 Class 來指定。DataFrame 是 Row 型別的 Dataset，即 Dataset[Row]。DataSet 的 API 是強型別的；而且可以利用這些模式進行最佳化。

DataFrame 與 DataSet 只在執行行動操作時觸發計算。本質上，資料集表示一個邏輯計劃，該計劃描述了產生資料所需的計算。當執行行動操作時，Spark 的查詢最佳化程式最佳化邏輯計劃，並生成一個高效的並行和分散式物理計劃。

![Spark API](https://www-cdn.nebula-graph.com.cn/nebula-blog/spark-apis.png)

## 基於 Spark 的資料匯入工具

Spark Writer 是 [Nebula Graph](https://github.com/vesoft-inc/nebula) 基於 Spark 的分散式資料匯入工具，基於 DataFrame 實現，能夠將多種資料來源中的資料轉化為圖的點和邊批次匯入到圖資料庫中。

目前支援的資料來源有：Hive 和HDFS。

Spark Writer 支援同時匯入多個標籤與邊型別，不同標籤與邊型別可以配置不同的資料來源。

Spark Writer 透過配置檔案，從資料中生成一條插入語句，傳送給查詢服務，執行插入操作。Spark Writer 中插入操作使用非同步執行，透過 Spark 中累加器統計成功與失敗數量。

## 獲取 Spark Writer

### 編譯原始碼
```bash
git clone https://github.com/vesoft-inc/nebula.git  
cd nebula/src/tools/spark-sstfile-generator  
mvn compile package
```

#### 標籤資料檔案格式

標籤資料檔案由一行一行的資料組成，檔案中每一行表示一個點和它的屬性。一般來說，第一列為點的 ID ——此列的名稱將在後文的對映檔案中指定，其他列為點的屬性。例如Play標籤資料檔案格式：
```bash
{"id":100,"name":"Tim Duncan","age":42}  
{"id":101,"name":"Tony Parker","age":36}  
{"id":102,"name":"LaMarcus Aldridge","age":33}
```

#### 邊型別資料檔案格式

邊型別資料檔案由一行一行的資料組成，檔案中每一行表示一條邊和它的屬性。一般來說，第一列為起點 ID，第二列為終點 ID，起點 ID 列及終點 ID 列會在對映檔案中指定。其他列為邊屬性。下面以 JSON 格式為例進行說明。

以邊型別 follow 資料為例：

```bash
{"source":100,"target":101,"likeness":95}  
{"source":101,"target":100,"likeness":95}  
{"source":101,"target":102,"likeness":90}  
{"source":100,"target":101,"likeness":95,"ranking":2}  
{"source":101,"target":100,"likeness":95,"ranking":1}  
{"source":101,"target":102,"likeness":90,"ranking":3}
```

#### 配置檔案格式

Spark Writer 使用 HOCON 配置檔案格式。HOCON（Human-Optimized Config Object Notation）是一個易於使用的配置檔案格式，具有物件導向風格。配置檔案由 Spark 配置段，Nebula 配置段，以及標籤配置段和邊配置段四部分組成。

Spark 資訊配置了 Spark 執行的相關引數，Nebula 相關資訊配置了連線 Nebula 的使用者名稱和密碼等資訊。 tags 對映和 edges 對映分別對應多個 tag/edge 的輸入源對映，描述每個 tag/edge 的資料來源等基本資訊，不同 tag/edge 可以來自不同資料來源。

Nebula 配置段主要用於描述 nebula 查詢服務地址、使用者名稱和密碼、圖空間資訊等資訊。
```bash
nebula: {  
  # 查詢引擎 IP 列表  
  addresses: ["127.0.0.1:3699"]  
  
  # 連線 Nebula Graph 服務的使用者名稱和密碼  
  user: user  
  pswd: password  
  
  # Nebula Graph 圖空間名稱  
  space: test  
  
  # thrift 超時時長及重試次數，預設值分別為 3000 和 3  
  connection {  
    timeout: 3000  
    retry: 3  
  }  
  
  # nGQL 查詢重試次數，預設值為 3  
  execution {  
    retry: 3  
  }  
}

```

#### Nebula 配置段

標籤配置段用於描述匯入標籤資訊，陣列中每個元素為一個標籤資訊。標籤匯入主要分為兩種：基於檔案匯入與基於 Hive 匯入。

- 基於檔案匯入配置需指定檔案型別
- 基於 Hive 匯入配置需指定執行的查詢語言。

```bash
# 處理標籤  
tags: [  
  
  # 從 HDFS 檔案載入資料， 此處資料型別為 Parquet tag 名稱為 ${TAG_NAME}  
  #  HDFS Parquet 檔案的中的 field_0、field_1將寫入 ${TAG_NAME}  
  # 節點列為 ${KEY_FIELD}
  {  
    name: ${TAG_NAME}  
    type: parquet  
    path: ${HDFS_PATH}  
    fields: {  
      field_0: nebula_field_0,  
      field_1: nebula_field_1  
    }  
    vertex: ${KEY_FIELD}  
    batch : 16  
  }  
  
  # 與上述類似  
  # 從 Hive 載入將執行命令 $ {EXEC} 作為資料集  
  {  
    name: ${TAG_NAME}  
    type: hive  
    exec: ${EXEC}  
    fields: {  
      hive_field_0: nebula_field_0,  
      hive_field_1: nebula_field_1  
    }  
    vertex: ${KEY_FIELD}
  }  
] 
```
說明：

- name 欄位用於表示標籤名稱
- fields 欄位用於配置 HDFS 或 Hive 欄位與 Nebula 欄位的對映關係
- batch 引數意為一次批次匯入資料的記錄數，需要根據實際情況進行配置。

邊型別配置段用於描述匯入標籤資訊，陣列中每個元素為一個邊型別資訊。邊型別匯入主要分為兩種：基於檔案匯入與基於Hive匯入。

- 基於檔案匯入配置需指定檔案型別
- 基於Hive匯入配置需指定執行的查詢語言
```bash
# 處理邊  
edges: [  
  # 從 HDFS 載入資料，資料型別為 JSON  
  # 邊名稱為 ${EDGE_NAME}  
  # HDFS JSON 檔案中的 field_0、field_1 將被寫入${EDGE_NAME}  
  # 起始欄位為 source_field，終止欄位為 target_field ，邊權重欄位為 ranking_field。  
  {  
    name: ${EDGE_NAME}  
    type: json  
    path: ${HDFS_PATH}  
    fields: {  
      field_0: nebula_field_0,  
      field_1: nebula_field_1  
    }  
    source:  source_field  
    target:  target_field  
    ranking: ranking_field  
  }  
  
  # 從 Hive 載入將執行命令 ${EXEC} 作為資料集  
  # 邊權重為可選  
  {  
    name: ${EDGE_NAME}  
    type: hive  
    exec: ${EXEC}  
    fields: {  
      hive_field_0: nebula_field_0,  
      hive_field_1: nebula_field_1  
    }  
    source:  source_id_field  
    target:  target_id_field  
  }  
]  
```
說明：

- name 欄位用於表示邊型別名稱
- fields 欄位用於配置 HDFS 或 Hive 欄位與 Nebula 欄位的對映關係
- source 欄位用於表示邊的起點
- target 欄位用於表示邊的終點
- ranking 欄位用於表示邊的權重
- batch 引數意為一次批次匯入資料的記錄數，需要根據實際情況進行配置。

### 匯入資料命令

```bash
bin/spark-submit \  
 --class com.vesoft.nebula.tools.generator.v2.SparkClientGenerator \  
 --master ${MASTER-URL} \  
 ${SPARK_WRITER_JAR_PACKAGE} -c conf/test.conf -h -d  
```
說明：

- -c：config 用於指定配置檔案路徑
- -h：hive 用於指定是否支援 Hive
- -d：dry 用於測試配置檔案是否正確，並不處理資料。

> 作者有話說：Hi ，大家好，我是 darion，Nebula Graph 的軟體工程師，對分散式系統方面有些小心得，希望上述文章可以給大家帶來些許啟發。限於水平，如有不當之處還請斧正，在此感謝^^

喜歡這篇文章？來來來，給我們的 [GitHub](https://0x7.me/spark2github) 點個 star 表鼓勵啦~~ ?‍♂️?‍♀️ [手動跪謝]

交流圖資料庫技術？交個朋友，Nebula Graph 官方小助手微信：[NebulaGraphbot](https://www-cdn.nebula-graph.com.cn/nebula-blog/nbot.png) 拉你進交流群~~

淺析圖資料庫 Nebula Graph 資料匯入工具——Spark Writer

相關文章