> 本文首發於 **[Nebula Graph Community 公眾號](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/WeChatOffical.png)**

## 一、選擇 Nebula 的原因

**效能優越**
 - 查詢速度極快
 - 架構分離，易擴充套件（目前的機器配置低，後續可能擴充套件）
 - 高可用（由於是分散式，所以從使用到現在沒有出現過當機情況）

**上手容易**
 - 介紹全（熟悉架構和效能）
 - 部署快（經過手冊的洗禮，快速部署簡單的叢集）
 - 使用簡便（遇到需要的資料，查詢手冊獲取對應的GNQL，針對性查詢）
 - 答疑優秀（遇到問題，可以先翻論壇，如果沒有，那就釋出帖子，開發人員的幫助很及時）

**開源，且技術穩定**
 - 因為實踐企業多，用起來放心。

## 二、業務需求背景介紹

為方便資料治理、後設資料管理及資料質量監控，將排程系統生成的數倉血緣儲存起來。

### 血緣資料流程

從採集、儲存到平臺展示的資料全流程：

![血緣資料流程](https://www-cdn.nebula-graph.com.cn/nebula-blog/data-lineage-practice-01.png)

### 在查詢平臺的部分資料查詢展示

![資料查詢展示](https://www-cdn.nebula-graph.com.cn/nebula-blog/data-lineage-practice-02.jpeg)

## 三、我的具體實踐

### 1、版本選擇

這裡我們採用了 Nebula v3.0.0、Nebula Java Client v3.0.0，這裡提下 Nebula Graph 和 Java 客戶端需要相相容，版本號要對齊。

### 2、叢集部署

#### 機器配置

四臺實體機，同配置：
10C * 2 / 16G * 8 / 600G

#### 3、安裝方式

這裡我們採用了 RPM 安裝。
a. 透過 wget 拉取安裝包後安裝。
b. 更改配置檔案，主要更改引數：
- Meta 服務的所有機器 `—— meta_server_addrs=ip1:9559, ip2:9559, ip3:9559`
當前機器 ip（如果是 meta / graph / storage，填對應 meta / graph / storage 機器的ip） —— local_ip

c. 啟動後透過 Console 簡單測試
`add hosts ip:port` 增加自己的機器 ip 後（核心版本低於 v3.0.0 的 Nebula 使用者可忽略該步驟），`show hosts`，如果是 online，即可開始測試相關 nGQL。

#### 4、資料匯入

目前分兩種情況更新資料。

a. 實時監控排程平臺

監控每個任務例項，透過依賴節點獲取上下游的關係，將關係實時打入到 MySQL 和 Nebula 中，更新 Nebula Graph 資料透過 Spark Connector 實現。（MySQL 做備份，因為 Nebula 不支援事務，可能存在資料偏差）

b. 定時排程矯正資料

透過 MySQL 中的血緣關係，透過 Spark 任務定時校正 Nebula 資料，更新資料同樣透過 Spark Connector 實現。

Spark Connector 的使用：NebulaConnectionConfig 初始化配置，然後透過連線資訊、插入的點與邊的相關引數及實體 Tag、Edge 建立 WriteNebulaVertexConfig 和 WriteNebulaEdgeConfig 物件，以備寫入點和邊的資料。

#### 5、資料平臺查詢

資料平臺查詢血緣的應用：

a. 獲取 Nebula 資料實現過程

透過初始化連線池 Nebula pool，實現單例工具類，方便在整個專案中呼叫並使用 Session。

這裡一定要注意，連線池只可以有一個，而 Session 可以透過 MaxConnectionNum 設定連線數，根據實際業務來判斷具體引數（平臺查詢越頻繁，連線數就要設定的越多一些）。而每次 Session 使用完畢也是要釋放的。

b. 查詢資料，轉換為 ECharts 需要的 JSON

① 透過 getSubGraph 獲取當前表或欄位的所有上下游相關點，這一點透過獲取子圖的方法，很方便。
② 需要透過結果，解析出其中兩個方向資料的點，然後遞迴解析，最後轉為一個遞迴呼叫自己的 Bean 類物件。
③ 寫一個滿足前端需要的 JSON 串的 toString 方法，得到結果後即可。

## 工具類和核心邏輯程式碼

這裡分享下我用到的工具類和核心邏輯程式碼

### 工具類

```
object NebulaUtil {

private val log: Logger = LoggerFactory.getLogger(NebulaUtil.getClass)

private val pool: NebulaPool = new NebulaPool

private var success: Boolean = false

{
    //首先初始化連線池

val nebulaPoolConfig = new NebulaPoolConfig
    nebulaPoolConfig.setMaxConnSize(100)

// 初始化ip和埠
    val addresses = util.Arrays.asList(new HostAddress("10.88.100.88", 9669))
    success = pool.init(addresses, nebulaPoolConfig)

}

def getPool(): NebulaPool = {
    pool
  }

def isSuccess(): Boolean = {
    success
  }

//TODO query： 建立空間、進入空間、建立新的點和邊的型別、插入點、插入邊、執行查詢
  def executeResultSet(query: String, session: Session): ResultSet = {

val resp: ResultSet = session.execute(query)
    if (!resp.isSucceeded){
      log.error(String.format("Execute: `%s', failed: %s", query, resp.getErrorMessage))
      System.exit(1)
    }

resp
  }

def executeJSON(queryForJson: String, session: Session): String = {

val resp: String = session.executeJson(queryForJson)
    val errors: JSONObject = JSON.parseObject(resp).getJSONArray("errors").getJSONObject(0)
    if (errors.getInteger("code") != 0){
      log.error(String.format("Execute: `%s', failed: %s", queryForJson, errors.getString("message")))
      System.exit(1)
    }

resp
  }

def executeNGqlWithParameter(query: String, paramMap: util.Map[String, Object], session: Session): Unit = {

val resp: ResultSet = session.executeWithParameter(query, paramMap)
    if (!resp.isSucceeded){
      log.error(String.format("Execute: `%s', failed: %s", query, resp.getErrorMessage))
      System.exit(1)
    }

}

//獲取ResultSet中的各個列名及資料
  //_1 列名組成的列表
  //_2 多row組成的列表巢狀    單個row的列表 包含本行每一列的資料
  def getInfoForResult(resultSet: ResultSet): (util.List[String], util.List[util.List[Object]]) = {

//拿到列名
    val colNames: util.List[String] = resultSet.keys

//拿資料
    val data: util.List[util.List[Object]] = new util.ArrayList[util.List[Object]]

//迴圈獲取每行資料
    for (i "dws.dws_order_day+ds_code" @0 {}], [:field_rely "dws.dws_order+ds_code"->"tujia_qlibra.dws_order+p_ds_code" @0 {}], [:field_rely "dws.dws_order+ds_code"->"tujia_tmp.dws_order_execution+ds_code" @0 {}]]
    //非空則獲取資料
    if (!resultSet.isEmpty) {
      //非空，則拿資料，解析資料
      val data = NebulaUtil.getInfoForResult(resultSet)
      val curData: util.List[util.List[Object]] = data._2

//正則匹配引號中資料
      val pattern = Pattern.compile("\"([^\"]*)\"")

// 上一步長的所有節點陣列
      // 判斷節點的父節點, 方便儲存
      var parentNode = new mutable.ArrayBuffer[FieldRely]()

//2 首先獲取步長為 1 的邊
      curData.get(0).get(0).toString.split(",").foreach(curEdge =>{
        //拿到邊的起始和目的點
        val matcher = pattern.matcher(curEdge)
        var startPoint = ""
        var endPoint = ""

//將兩點賦值
        while (matcher.find()){
          val curValue = matcher.group().replaceAll("\"", "")
          // 上下游的指向是不同的 所以需要根據上下游切換 開始節點和結束節點的資訊獲取
          // out 為下游, 資料結構是 startPoint -> endPoint
          if(direct){
            if ("".equals(startPoint)){
              startPoint = curValue
            }else{
              endPoint = curValue
            }
          }else {
            // in 為上游, 資料結構是 endPoint -> startPoint
            if ("".equals(endPoint)){
              endPoint = curValue
            }else{
              startPoint = curValue
            }
          }

}
        //合併到起點 bean 中
        relyResult.children.append(new FieldRely(endPoint, new ArrayBuffer[FieldRely]()))
      })

//3 並初始化父節點陣列
      parentNode = relyResult.children

//4 得到其餘所有邊
      for (i  {

//拿到邊的起始和目的點
          val matcher = pattern.matcher(curEdge)
          var startPoint = ""
          val endNode = new FieldRely("")

//將兩點賦值
          while (matcher.find()){
            val curValue = matcher.group().replaceAll("\"", "")
//            logger.info(s"not 1 curValue: $curValue")
            if(direct) {
              if ("".equals(startPoint)){
                startPoint = curValue
              }else{
                endNode.name = curValue
                endNode.children = new mutable.ArrayBuffer[FieldRely]()
                nextParentNode.append(endNode)
              }
            }else {
              if ("".equals(endNode.name)){
                endNode.name = curValue
                endNode.children = new mutable.ArrayBuffer[FieldRely]()
                nextParentNode.append(endNode)
              }else{
                startPoint = curValue
              }
            }

}

//透過 startPoint 找到父節點, 將 endPoint 加入到本父節點的 children 中
          var flag = true
          //至此, 一條邊插入成功
          for (curFieldRely  2){
        childrenStr = childrenStr.substring(0, childrenStr.length - 2)
      }

resultString += s"{${quote}name${quote}: ${quote}$name${quote}, ${quote}children${quote}: [$childrenStr]}"
    }
    resultString
  }
}
```

## 結果

在查詢子圖步長接近 20 的情況下，基本上介面返回資料可以控制在 200ms 內（包含後端複雜處理邏輯）。

> 本文正在參加 [首屆 Nebula 徵文活動](https://discuss.nebula-graph.com.cn/t/topic/8820)，如果你覺得本文對你有所幫助可以來給我投個票 ，以示鼓勵~
> 謝謝(#^.^#)

> 我是資料開發的實習生，在這個崗位上工作四個月左右的時間了，期間負責開發資料平臺的功能。
因為其中一些資料的讀寫效能較低，所以在調研後，選擇部署一個Nebula 叢集，它的技術體系也是比較成熟的，社群也比較完善，對剛剛接觸的它的人非常友好。所以很快就開始投入使用了。在使用過程中，有一些自己的見解，和遇到的一些問題及解決方法，在這裡向大家分享一下自己的使用經驗。

---

交流圖資料庫技術？加入 Nebula 交流群請先[填寫下你的 Nebula 名片](https://wj.qq.com/s2/8321168/8e2f/)，Nebula 小助手會拉你進群~~

數倉血緣關係資料的儲存與讀寫

相關文章