EOS 區塊鏈資料實時異構到 MongoDB

robinwen發表於2018-11-18
區塊鏈MongoDB

文/溫國兵

這是「區塊鏈技術指北」的第 38 篇文章。

如果對我感興趣，想和我交流，我的微訊號：Wentasy，加我時簡單介紹下自己，並註明來自「區塊鏈技術指北」，同時我會把你拉入微信群。

EOS 區塊鏈資料實時異構到 MongoDB

題圖來自: © ChainONE / Original / chainon.io

更新：從 EOSIO 1.1.0 開始，已經預設支援 MongoDB，所以本文提供的方法僅做參考。

0x00 背景

執行 eosio_build.sh 指令碼編譯 nodeos 會預設安裝 mongodb，但是從 Dawn 4.0 開始，mongo_db_plugin 外掛不再生效，詳情請參考 #3030。#4304 PR 重新支援 MongoDB，本文講解如何將鏈上資料實時同步到 MongoDB。

EOS 區塊鏈資料實時異構到 MongoDB

0x01 部署

部署的思路如下：

  • 編譯支援 mongo_db_plugin 的 nodeos
  • 配置 MongoDB
  • 啟動 MongoDB
  • 建立資料庫
  • 啟動 nodeos，同步主網資料
  • 檢視 MongoDB，確認資料

接下來我們逐步講解。

由於 EOSIO 程式碼庫有 gh#3030-enable-mongodb 分支，所以可以使用 git 自動將支援 mongo_db_plugin 外掛的程式碼合併，詳細命令如下：

$ mkdir -p /data/mongodb && cd /data/mongodb
$ git clone -b release/1.1 https://github.com/EOSIO/eos.git --recursive
$ cd eos
$ git fetch --all --tags --prune
$ git merge --m "merge" --commit origin/gh#3030-enable-mongodb
$ git submodule update --init --recursive
$ ./eosio_build.sh
複製程式碼

如果 nodeos 編譯成功，MongoDB 自動安裝，路徑在 $USER/opt/mongodb。執行 /data/mongodb/eos/build/programs/nodeos/nodeos --help | grep mongo，如果有如下的輸出，表示 MongoDB 外掛編譯成功。

Config Options for eosio::mongo_db_plugin:
  -q [ --mongodb-queue-size ] arg (=256)
  --mongodb-wipe                        Required with --replay-blockchain,
                                        --delete-all-blocks to wipe mongo
                                        accidental wipe of mongo db.
  --mongodb-block-start arg (=0)        If specified then only abi data pushed
                                        to mongodb until specified block is
  -m [ --mongodb-uri ] arg              MongoDB URI connection string, see:
                                        https://docs.mongodb.com/master/referen
                                        in URI. Example: mongodb://127.0.0.1:27
複製程式碼

接下來我們配置 MongoDB。

$ mkdir -p /data/mongodb/db /data/mongodb/logs
$ touch /data/mongodb/mongodb.conf
複製程式碼

mongodb.conf 配置檔案內容如下：

systemLog:
  destination: file
  path: /data/mongodb/logs/mongo.log
  logAppend: true
storage:
  dbPath: /data/mongodb/db
  journal:
   enabled: true
net:
  bindIp: 127.0.0.1
  port: 27017
複製程式碼

接著啟動 MongoDB，並且建立 eos 資料庫。

$ /$USER/opt/mongodb/bin/mongod -f /data/mongodb/mongodb.conf --fork
$ /$USER/opt/mongodb/bin/mongo --port 27017
$ use eos
複製程式碼

然後配置 EOS 主網 fullnode。

$ mkdir /data/mainnet
$ cd /data/mainnet
$ git clone https://github.com/superoneio/eos-mainnet
$ mkdir -p data logs config
$ cp eos-mainnet/config.ini mainnet/config
$ cp eos-mainnet/genesis.json mainnet
$ cp eos-mainnet/*.sh mainnet
$ chmod +x mainnet
複製程式碼

修改 config.ini 相關配置，新增如下引數：

plugin = eosio::mongo_db_plugin
mongodb-uri = mongodb://127.0.0.1:27017/eos
複製程式碼

最後執行 start.sh，同步主網資料。

0x02 測試

我們執行 $ /$USER/opt/mongodb/bin/mongo --port 27017 登入到 MongoDB，可以對同步的資料進行校驗。

> use eos
> show dbs
admin   0.000GB
config  0.000GB
eos     0.031GB
local   0.000GB
> use eos
switched to db eos
> show tables;
accounts
actions
block_states
blocks
transaction_traces
transactions
> db.accounts.find({name:{$eq:'eosio.ram'}})
{ "_id" : ObjectId("5b4163f2992ecd51b4277f77"), "name" : "eosio.ram", "createdAt" : ISODate("2018-07-08T01:08:02.071Z") }
複製程式碼

0x03 小結

之前介紹了將 EOS 主網資料同步到 MySQL，本文講解了另一種同步到文件型資料庫的方法。MySQL 和 MongoDB 最大的區別在於，MySQL 是傳統的關係型資料庫，支援 SQL 標準，而 MongoDB 是文件型資料庫。MySQL 天生適用於結構化資料以及需要使用事務的場景，天生支援 SQL 標準，對開發者比較友好。

MongoDB 適合如下場景：[1]

  • 表結構不明確且資料不斷變大，MongoDB 是非結構化文件資料庫，擴充套件欄位很容易且不會影響原有資料
  • 更高的寫入負載，MongoDB 側重高資料寫入的效能，而非事務安全
  • 資料量很大或者將來會變得很大，MongoDB 內建了 Sharding、資料分片的特性，容易水平擴充套件
  • 高可用性，MongoDB 自帶高可用，自動主從切換（副本集）

而 MongoDB 不支援事務、不支援 JOIN，所以涉及事務和複雜查詢的場景不適合 MySQL。

關於 MongoDB 和 MySQL 的對比，可以點選 此處 檢視。

0x04 參考

「區塊鏈技術指北」同名 知識星球，二維碼如下，歡迎加入。

區塊鏈技術指北

「區塊鏈技術指北」相關資訊渠道：

同時，本系列文章會在以下渠道同步更新，歡迎關注：

原創不易，讀者可以通過如下途徑打賞，虛擬貨幣、美元、法幣均支援。

  • BTC: 3QboL2k5HfKjKDrEYtQAKubWCjx9CX7i8f
  • ERC20 Token: 0x8907B2ed72A1E2D283c04613536Fac4270C9F0b3
  • PayPal: www.paypal.me/robinwen
  • 微信打賞二維碼

Wechat

–EOF–

版權宣告：自由轉載-非商用-非衍生-保持署名（創意共享4.0許可證）

相關文章