文/溫國兵
這是「區塊鏈技術指北」的第 33 篇文章。
如果對我感興趣,想和我交流,我的微訊號:Wentasy,加我時簡單介紹下自己,並註明來自「區塊鏈技術指北」。同時我會把你拉入微信群「區塊鏈技術指北」。BTW,李笑來老師也加入了我的知識星球,文末有加入方式。
題圖來自: © ChainONE / Original / chainone.xyz
0x00 背景
早在 6 月 7 日,kesar 在 EOSIO 提交了一個編號為 #3882 的 PR,但直至目前仍處於未合併狀態。團隊做一些開發需要取 EOS 鏈上資料,但無法直接從 EOS 區塊鏈中獲取。#3882 提供 EOS 鏈上資料匯入 MySQL,可以很方便的讀取歷史資料。但問題來了,該 PR 未合併,EOSIO 也沒有一個 sql_db_plugin 相關的 branch 或 tag,所以無法使用 git 自動合併。
0x01 解決
SuperONE 團隊將 #3882 提交的內容打包,提交了個一個 repo,連結如下:
https://github.com/superoneio/eos_sql_db_plugin
接下來本文將講解如何將 EOS 鏈上資料異構到 MySQL。
0x02 部署
部署的思路如下:
- 安裝 MySQL 以及 client 庫
- 安裝 soci
- 修改 eos CMakeLists.txt
- 編譯支援 sql_db_plugin 的 nodeos
- 建立資料庫,分配使用者名稱
- 匯入 eos 表結構
- 啟動 nodeos,同步主網資料
- 檢視 MySQL,確認資料
接下來我們逐步講解。
如果使用 Ubuntu,安裝 MySQL 可以快速使用 apt-get 安裝,筆者建議使用原始碼編譯。
如果使用原始碼編譯,mysql-client 相關庫已經存在。如果使用 apt-get 或者 yum 安裝 mysql-sever,需要執行如下命令安裝 mysql-client,命令如下:
$ apt-get -y install mysql-client
複製程式碼
接下來我們安裝 soci。soci 是 C++ 連線 MySQL 的 Library。Ubuntu 可以快速安裝,命令如下:
$ apt-get -y install libsoci-dev
複製程式碼
當然,我們還可以原始碼編譯,步驟如下:[1]
$ git clone clone https://github.com/SOCI/soci.git
$ cd soci && mkdir build && cd build
$ cmake -DWITH_BOOST=ON -WITH_MYSQL=ON -MYSQL_INCLUDE_DIR=/usr/local/mysql/include -MYSQL_LIBRARIES=/usr/local/mysql/lib/libmysqlclient.a /data/tmp/robin/soci
$ make
$ make install
複製程式碼
當然 -MYSQL_INCLUDE_DIR
和 -MYSQL_LIBRARIES
根據實際路徑更改。[2]
接下來我們需要 clone eos 程式碼,命令如下:
$ cd /data
$ git clone https://github.com/EOSIO/eos --recursive
$ cd /data/eos
# 如果不想用 master 分支程式碼,可以使用 git checkout v1.0.8 使用其他分支
$ git submodule update –init –recursive
複製程式碼
然後更改 CMakeLists.txt,總共有兩個 CMakeLists.txt 需要更改。
- eos/plugins/CMakeLists.txt
- eos/programs/nodeos/CMakeLists.txt
在 eos/plugins/CMakeLists.txt 新增如下行:
add_subdirectory(sql_db_plugin)
在 eos/programs/nodeos/CMakeLists.txt 新增如下內容:
// 如果以下內容已經取消註釋,可以忽略。
if(TARGET sql_db_plugin)
target_link_libraries( nodeos PRIVATE -Wl,${whole_archive_flag} sql_db_plugin -Wl,${no_whole_archive_flag} )
endif()
複製程式碼
接著將 SuperONE 團隊合併的 sql_db_plugin
合併到 EOS 程式碼中。
$ cd /data
$ git clone https://github.com/superoneio/eos_sql_db_plugin
\cp -rv /data/eos_sql_db_plugin/sql_db_plugin/* /data/eos/plugins/sql_db_plugin
複製程式碼
接下來編譯支援 sql_db_plugin
的 nodeos。
$ cd /data/eos
$ ./eosio_build.sh
複製程式碼
待 nodeos 編譯完成之後,我們執行如下命令確認是否編譯成功。
$ /data/eos/build/programs/nodeos/nodeos --help | grep "sql_db-uri"
複製程式碼
如果輸出如下內容,證明編譯成功。
--sql_db-uri arg Sql DB URI connection string If not
接下來在 MySQL 裡建立資料庫以及分配賬號,SQL 如下:
CREATE DATABASE eos DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
GRANT ALL PRIVILEGES ON eos.* TO app_eos@'%' IDENTIFIED BY 'YOURPASS';
GRANT ALL PRIVILEGES ON eos.* TO app_eos@'127.0.0.1' IDENTIFIED BY 'YOURPASS';
複製程式碼
然後我們匯入 EOS 資料庫表結構,如不想手動匯入,可以在啟動 nodeos 的時候新增 sql_db-block-start=0
引數,該引數為 0 時會在資料庫中建立表。表結構可以在點選 此處 下載。
接著我們啟動 nodeos,主網 fullnode 相關的配置檔案可以訪問如下連結下載:
https://github.com/superoneio/eos-mainnet
啟動 fullnode 相關命令如下:
$ mkdir /data/mainnet
$ cd /data/mainnet
$ git clone https://github.com/superoneio/eos-mainnet
$ mkdir -p data logs config
$ cp eos-mainnet/config.ini mainnet/config
$ cp eos-mainnet/genesis.json mainnet
$ cp eos-mainnet/*.sh mainnet
$ chmod +x mainnet
複製程式碼
修改 config.ini 相關配置以及 start.sh 指令碼,sql_db-uri 格式如下:
sql_db-uri="mysql://db=YOURDB user=YOURUSER host=127.0.0.1 password='YOURPASS'
sql_db-uri 引數中的 YOURUSER 表示連線 EOS 區塊鏈資料庫的使用者名稱,YOURPASS 表示連線 EOS 區塊鏈資料庫的使用者密碼,YOURDB 表示 EOS 區塊鏈資料庫名字。
需要注意的是 sql_db-uri 暫時不能寫入 config.ini 配置檔案,否則將會遇到 Failed to find shared library for backend "mysql
錯誤。另外,筆者的作業系統是 Ubuntu 16.04.4 LTS。
最後執行 start.sh,登入 MySQL 資料庫就可以檢視到相關資料。
[root@localhost][(none)]> USE eos
Database changed
[root@localhost][eos]> SHOW TABLES;
+------------------+
| Tables_in_eos |
+------------------+
| accounts |
| accounts_keys |
| actions |
| actions_accounts |
| blocks |
| stakes |
| tokens |
| transactions |
| votes |
+------------------+
9 rows in set (0.02 sec)
[root@localhost][eos]> SELECT * FROM tokens LIMIT 1 \G
*************************** 1. row ***************************
account: eosio
symbol: EOS
amount: 995314228.4771
1 row in set (0.00 sec)
複製程式碼
0x03 小結
目前 #3882 暫未合併,具體原因未從得知。EOS 鏈上資料和傳統的關係型資料庫結合,將會大大降低開發者成本。待 #3882 merge 之後,讀者將會更便利的使用到這個功能。
0x04 參考
- [1] SOCI (2018-07-06). SOCI Installation. Retrieved from soci.sourceforge.net/doc/master/….
- [2] 太上絕情 (2016-07-14). soci-mysq 編譯. Retrieved from blog.csdn.net/bjrxyz/arti….
「區塊鏈技術指北」同名 知識星球,二維碼如下,歡迎加入。BTW,李笑來老師也加入了。
「區塊鏈技術指北」相關資訊渠道:
- 「區塊鏈技術指北」同名知識星球,t.xiaomiquan.com/ZRbmaU3
- 官方社群,bcage.one
- Telegram Channel,t.me/BlockchainA…
- Telegram Group,t.me/bcage
- Twitter,twitter.com/bcageone
- 新浪微博,weibo.com/BlockchainA…
同時,本系列文章會在以下渠道同步更新,歡迎關注:
- 「區塊鏈技術指北」同名微信公眾號(微訊號:BlockchainAge)
- 個人部落格,dbarobin.com
- 知乎,zhuanlan.zhihu.com/robinwen
- Steemit,steemit.com/@robinwen
- Medium,medium.com/@robinwan
- 掘金,robinwen@juejin.im
- 幣乎,bihu.com/people/1210…
原創不易,讀者可以通過如下途徑打賞,虛擬貨幣、美元、法幣均支援。
- BTC: 3QboL2k5HfKjKDrEYtQAKubWCjx9CX7i8f
- ERC20 Token: 0x8907B2ed72A1E2D283c04613536Fac4270C9F0b3
- PayPal: www.paypal.me/robinwen
- 微信打賞二維碼
–EOF–