> 小 T 導讀：如果我們要做行情 tick 資料的儲存，怎樣的資料結構查詢起來才會比較快？在加入 TDengine 之前，本文作者丁博在弘源泰平量化投資做量化工程師，曾經遇到過這一類儲存行情 tick 資料的問題，本文會就此問題進行詳細的技術解讀。

本文將以標準 CTP 行情介面（http://www.sfit.com.cn/5_1_DocumentDown.htm） 為例，假設行情結構為 CThostFtdcDepthMarketDataField（https://mckelv.in/python-ctp-deps/struct_c_thost_ftdc_depth_market_data_field.html） ，展開說明。

**記憶體儲存方案**
如果你的需求僅僅是盤中實時分析，且監控的 Instrument（CTP 介面對現貨、期貨、期權等合約的統稱， 以下簡稱【合約】） 總數不多，則可以直接使用記憶體儲存。通常只有超高頻交易系統才必須這麼做。記憶體儲存也有很多可選方案，其中有兩大方案較為通用。

**兩級 map 方案**
第一級 map 的型別為 std::unordered_map，鍵為 InstrumentID， 值為第二級 map 的指標。第二級 map 的型別為 std::map，鍵為行情時間戳，值為行情結構體。（注：行情時間戳需要根據 UpdateTime 和 UpdateMillisec 兩個欄位構造一個型別為 long 的毫秒值）。 std::unordered_map 底層依賴的資料結構是雜湊表，按 key 索引速度是最快的。std::map 底層的資料結構是二叉樹搜尋樹，可以嚴格按照 key 的大小順序迭代全部或某一段資料。 總體而言這個資料結構的優勢是： 快速查詢某個合約某個時間點或某個時間段返回的行情。這是後續做交易訊號計算的基礎。
```
#include "ThostFtdcUserApiStruct.h"
#include "ThostFtdcUserApiDataType.h"
#include <map>
#include <unordered_map>
using namespace std;
int main()
{
    unordered_map<tthostftdcinstrumentidtype map="" cthostftdcdepthmarketdatafield="">*> tickData;
}
```

**map + array**
由於每種合約每天的標準行情 tick 總數都是固定的（個別交易所除外），因此我們可以提前初始化好一個陣列來存行情。按每秒 2 個 tick 算（500 毫秒一個點），標準行情的長度可能是 28800。當收到行情通知時，行情時間距離哪個標準 tick 點最近就歸為哪個 tick。比如行情時間是 9 點 50 分 20 秒 133 毫秒，那麼可以當作 9 點 50 分 20 秒 0 毫秒的行情。如果出現前後兩個 tick 時間大於 500 毫秒的情況，那就還需要補全中間空缺的行情，相當於邊收行情邊做標準化操作。這樣做的優勢是：

1. 交易策略通常會依賴標準化的行情計算交易訊號，收行情和標準化並作一步會更節省時間。
2. 可以直接用陣列下標索引對應時間的行情，查詢的時間複雜度為 O(1)。

```
#include "ThostFtdcUserApiStruct.h"
#include "ThostFtdcUserApiDataType.h"
#include <unordered_map>
#include <array>
using namespace std;
int main()
{
    unordered_map<tthostftdcinstrumentidtype array="">> tickData;
}
```

**持久化儲存方案**

無論是否做超高頻交易，持久化儲存行情都是有必要的。通常持久化儲存為的是進行盤後覆盤分析, 因為在大資料量下，傳統的儲存方案（MongoDB、MySQL、直接存檔案等等）很快就會遇到效能瓶頸（無論是讀還是寫），不適合做盤中的計算。近年來，時序資料庫（Time-Series Database）異軍突起，使得盤中盤後使用一種儲存方案成為可能。特別是像 TDengine 這樣帶有快取功能、訊息佇列功能和叢集功能的時序資料庫，用來存行情是非常合適。下面我將以 TDengine Database 為例為大家介紹持久化儲存方案。

**下載 TDengine Database Server**
在下載階段，不同的系統使用的安裝包也有所不同，Ubuntu 系統用 deb 包， CentOS 系統用 RPM 包。下載地址為： All Downloads – TDengine。

**安裝並啟動**
Ubuntu
```
sudo dpkg -i TDengine-server-2.4.0.7-Linux-x64.deb
```

CentOS
```
sudo rpm -ivh TDengine-server-2.4.0.7-Linux-x64.rpm
```

安裝成功後，如何啟動 TDengine Database 的提示資訊就會自動彈出，照著操作就可以。

**建行情表**
由於所有行情的結構都是一樣的，因此只需要一張超級表進行行情建表即可，其中每個合約對應一張子表，InstrumentID 作為子表名，交易所程式碼作為一個行情標籤。為了方便演示，下面的示例只包含了 4 個行情欄位：

- 進入 taos 命令列

```
bo@RDBB:~$ taos
Welcome to the TDengine shell from Linux, Client Version:2.4.0.12
Copyright (c) 2020 by TAOS Data, Inc. All rights reserved.
```

- 執行下面的語句

```
create database marketdata;
use marketdata;
create stable tick(
        ts timestamp,
        updatetime binary(9),
        updatemillisec int,
        askprice1 double,
        bidprice1 double,
        askvolume1 int,
        bidvolume1 int
) tags (exchangeid binary(9));
```

- 檢視錶結構

```
taos> desc tick;
             Field              |         Type         |   Length    |   Note   |
=================================================================================
 ts                             | TIMESTAMP            |           8 |          |
 updatetime                     | BINARY               |           9 |          |
 updatemillisec                 | INT                  |           4 |          |
 askprice1                      | DOUBLE               |           8 |          |
 bidprice1                      | DOUBLE               |           8 |          |
 askvolume1                     | INT                  |           4 |          |
 bidvolume1                     | INT                  |           4 |          |
 exchangeid                     | BINARY               |           9 | TAG      |
Query OK, 8 row(s) in set (0.000378s)
```

**寫入行情**
```
#include "ThostFtdcUserApiStruct.h"
#include "ThostFtdcUserApiDataType.h"
#include "taos.h"
#include "taoserror.h"
#include <iostream>
#include <sstream>
using namespace std;
void insertTickData(TAOS* taos, CThostFtdcDepthMarketDataField &tick) {
        stringstream sql;
        // 會自動建立子表tick.InstrumentID
        sql << "insert into " << tick.InstrumentID << " using tick tags("
                << tick.ExchangeID << ") values(now, '" << tick.UpdateTime << "', "
                << tick.UpdateMillisec << "," << tick.AskPrice1 << "," << tick.BidPrice1
                << "," << tick.AskVolume1 << "," << tick.BidVolume1 << ")";
        TAOS_RES *res = taos_query(taos, sql.str().c_str());
        if (res == nullptr || taos_errno(res) != 0) {
                cerr << "insertTitckData failed," << taos_errno(res) << ", " << taos_errstr(res) << endl;
        }
}
int main()
{
        TAOS *taos = taos_connect("localhost", "root", "taosdata", "marketdata", 6030);
        // 構造測試資料
        CThostFtdcDepthMarketDataField tick;
        strcpy_s(tick.InstrumentID, "IH2209");
        strcpy_s(tick.UpdateTime, "14:10:32");
        strcpy_s(tick.ExchangeID, "DEC");
        tick.UpdateMillisec = 500;
        tick.AskPrice1 = 123.8;
        tick.BidPrice1 = 123.4;
        tick.AskVolume1 = 10;
        tick.BidVolume1 = 9;
        // 寫入測試資料
        insertTickData(taos, tick);
        taos_close(taos);
}
```

![](http://img.blog.itpub.net/blog/2022/05/31/5fe9b8e51d7b21e1.png?x-oss-process=style/bb)

**查詢最新的行情**

TDengine 對每個表的最新資料都有快取功能，無需再讀磁碟，使用 last 函式就能快速獲取。
```
#include "ThostFtdcUserApiStruct.h"
#include "ThostFtdcUserApiDataType.h"
#include "taos.h"
#include "taoserror.h"
#include <string>
#include <iostream>
using namespace std;
CThostFtdcDepthMarketDataField* getLastTick(TAOS* taos, const char* instrumentID) {
        string sql("select last(*) from ");
        sql += instrumentID;
        TAOS_RES* res = taos_query(taos, sql.c_str());
    if (res == nullptr || taos_errno(res) != 0) {
                cerr << "getLastTick failed," << taos_errno(res) << ", " << taos_errstr(res) << endl;
                return nullptr;
        } 
        TAOS_ROW row = taos_fetch_row(res);        
        if (row == nullptr) {
                return nullptr;
        }
        CThostFtdcDepthMarketDataField* tick = new CThostFtdcDepthMarketDataField();
        //int64_t ts = *((int64_t*)row[0]);
        memcpy(tick->UpdateTime, row[1], 9);
        tick->UpdateMillisec = *(int*)row[2];
        tick->AskPrice1 = *((double *)row[3]);
        tick->BidPrice1 = *((double*)row[4]);
        taos_free_result(res);
        return tick;
}
int main() {
        TAOS* taos = taos_connect("localhost", "root", "taosdata", "marketdata", 6030);
        CThostFtdcDepthMarketDataField* tick = getLastTick(taos, "IH2209");
        cout << "askPrice1=" << tick->AskPrice1 << " bidPrice1=" << tick->BidPrice1 << endl;
        delete tick;
        taos_close(taos);
}
```

![](http://img.blog.itpub.net/blog/2022/05/31/ca3687adfbe5d557.png?x-oss-process=style/bb)

以上兩個示例程式，展示了寫入和查詢的方法。結合 TDengine 內建的[查詢函式]( https://docs.taosdata.com/taos-sql/function/"查詢函式")和[按視窗聚合]( https://docs.taosdata.com/taos-sql/interval/"按視窗聚合")功能，可實現更多功能，比如：

使用 MAX、 FIRST、 MIN、 LAST 四個 SQL 函式計算 K 線上高、開、低、收四個價位。
使用 INTERVAL 和 SLIDING 查詢子句和 AVG 函式計算移動均價。此處不再給出具體示例，可參考[官方文件]( https://docs.taosdata.com/taos-sql/interval/"官方文件")。

**從實際業務出發的實踐經驗分享**

除了上述內容外，TDengine Database 還有非常豐富的分析函式，如果你感興趣的話建議參考官方文件。此外，在 TDengine 的實際應用中，也有很多客戶的實踐是關於量化投資場景中的資料處理。

以同花順為例，其每天都需要接收海量交易所行情資料，以確保行情資料的資料準確，但由於該部分資料過於龐大，而且使用場景頗多，因此每天會產生很多的加工資料，在組合管理(PMS)上還會使用到歷史行情資料。之前他們採用的是 Postgres+LevelDB 作為資料的儲存方案，但仍舊痛點頻發，隨後透過對資料流、行情獲取模組的分析，發現目前主要存在以下兩個亟需解決的問題：

1. 依賴多，穩定性較差：PMS作為多品種的投後分析服務, 需要使用到各種日線資料、當天實時行情資料、當天分鐘資料等，在資料獲取方面需要依賴Http以及Postgres、LevelDB等資料庫。過於多的資料獲取鏈路會導致平臺可靠性降低，同時依賴於其他各個服務，導致查詢問題過於複雜。
2. 效能不能滿足需求： PMS作為多品種投後分析，在演算法分析層面需要大量的行情獲取，而且對行情獲取的效能也有較大的要求，當前所有行情會佔據大量分析的效能。

從業務發展的角度來講，儲存方案的改造迫在眉睫，之後同花順開始對 ClickHouse、InfluxDB、TDengine 等資料儲存方案進行調研。由於行情資料是繫結時間戳的形式，所以顯然時序資料庫更適用於這個業務場景，在 InfluxDB 和 TDengine 之間，由於 TDengine 的寫入速度遠高於 InfluxDB，且叢集版開源，同時還支援包含 C/C++、Java、Python、Go 和 RESTful 在內的多種資料介面，因此成為同花順的最終選用方案。

改造之後的效能效果提升還是非常明顯的，下圖是同花順做的一張改造前後效能對比圖，可以更為直觀地感受到效果提升：
![](http://img.blog.itpub.net/blog/2022/05/31/9e22c473a3ecea27.png?x-oss-process=style/bb)

同時改造後，穩定性也顯著增強，改造前呼叫資料情況共 40W 次，共出現 0.01% 的異常，改造後出現異常降低至 0.001%。

在 TDengine Database 官網的 Case 合集中，還有弘源泰平量化、同心源基金等幾篇聚焦投資量化場景下資料處理難題的客戶案例，由於篇幅所限，便不在此一一列舉了，有需要的朋友可以去官網查詢文章進行參考。如果還有投資量化場景下其他的資料處理難題，也歡迎在文章下方進行留言，我們後續可以加微信進行詳細討論和溝通。

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/TDengine"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")</iostream></string></sstream></iostream></tthostftdcinstrumentidtype></array></unordered_map></tthostftdcinstrumentidtype></unordered_map></map>

在進行行情 tick 資料儲存時，哪種資料結構查詢起來更快？

相關文章