> 小 T 導讀：對於青島協同創新金融研究院來說，一直打交道的交易記錄、價格等資料均為時序資料，在選擇資料庫（Database）時，TDengine “一個裝置一張表”的設計吸引了他們的目光。目前 TDengine 已經在其生產系統中穩定執行了 38 周。本文總結了他們在選型、搭建等方面的所思所想，以及應用 TDengine 之後所取得的效果。

**企業簡介：**
為切實服務國家經濟、金融發展，中國金融量化科學與技術協同創新中心在山東青島設立了一個高階智庫，即青島協同創新金融研究院。依託於創新中心的國際頂級專家資源、在量化金融與金融科技領域的國際領先理論研究與實務技術成果，研究院致力於促進我國金融領域創新型尖端理論人才、適用性高階技術人才的教育與培養，提升相關領域在風險管理、資產定價、產品設計等各方面的定量分析與決策技術水平，積極維護金融穩定、促進金融發展。

![](http://img.blog.itpub.net/blog/2022/04/12/2ce53bfa3a77063a.png?x-oss-process=style/bb)

開門見山地說，我們選擇 TDengine 的理由很簡單——“一個裝置一張表”的模型很適合我們的量化分析場景。本質上來講，交易記錄、價格等都是時序資料，其實就是“一隻股票一張表”，所以十分契合。

在我們的業務場景中，TDengine 主要負責三點：一是對回測的資料支援，因為它可以輕鬆抗住海量資料的寫入。目前我們的資料入庫方式是使用 Python 聯結器直接寫入 TDengine（6030 埠）。具體方式為：會透過券商的直連線口將他們提供的資料做一個 SQL 拼接，利用拼接 SQL 的方式，單個 SQL 寫入幾千行資料，將大批資料一次性寫入到一個表中。目前，我們每天新增資料量大概在 2000 萬行左右。

![](http://img.blog.itpub.net/blog/2022/04/12/705c8a317786c609.png?x-oss-process=style/bb)

（注：股票回測是指設定了某些股票指標組合後，基於歷史已經發生過的真實行情資料，在歷史上某一個時間點開始，嚴格按照設定的組合進行選股，並模擬真實金融市場交易的規則進行模型買入、模型賣出，得出一個時間段內的盈利率、最大回撤率等資料。）

![](http://img.blog.itpub.net/blog/2022/04/12/98625bb701668d64.png?x-oss-process=style/bb)

二是基於以上資料進行的回測資料分析。

![](http://img.blog.itpub.net/blog/2022/04/12/6c5d06fa106f9e67.png?x-oss-process=style/bb)

三是部分盤中策略的資料預載入。

但因為這塊有每秒幾萬次的查詢用在高頻業務上，所以暫時還沒有嘗試應用 TDengine，目前大部分盤中業務使用的還是 Redis。據社群工作人員表示，未來的 TDengine 3.0 版本將會支援自定義時間範圍的快取，屆時或許可以幫到我們。

![](http://img.blog.itpub.net/blog/2022/04/12/0bda6a985530c0d6.png?x-oss-process=style/bb)

除了上述主要的使用場景之外，TDengine 還幫助我們實現了部分深度學習模型的資料訓練和測試。

![](http://img.blog.itpub.net/blog/2022/04/12/0fc0744b1ef65884.png?x-oss-process=style/bb)

**具體落地與實際效果**
在目前的業務中，我們選用了三臺 8 核 16G 伺服器，以此搭建了三副本的叢集。

這裡大家需要注意，三節點並不代表三副本，也並不代表你的資料庫已經具備了高可用性。資料庫的高可用是在 "create database xxxx replica 1/2/3" 的過程中指定的，但是如果你忘記了也沒關係，後期可以透過 "alter database xxxx replica 1/2/3" 來動態地進行調整。TDengine 會自動複製出一批分片（Vnode），並均勻地分佈在各個節點之上，效果如下”show 庫名.vgroups”所示。

（注：如果資料量很大，在資料同步的過程中由於網路波動導致資料檔案複製中斷，也可以手動複製 Vnode 目錄下的檔案到指定節點再啟動。）

![](http://img.blog.itpub.net/blog/2022/04/12/643240fe67e674d4.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/04/12/dcc4dd28ca8db56d.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/04/12/2346925ef0a05a74.png?x-oss-process=style/bb)

根據不同型別的業務，我們建立了 7 張不同的超級表，子表數量為 33076 張，目前我們匯入的資料總量已經達到了 46 億之多，其中最大的一張超級表達到了 26 億行，實際磁碟佔用大概在 130GB 左右。表的列數如下圖”columns”所示，資料型別以 Float 為主。

![](http://img.blog.itpub.net/blog/2022/04/12/7870355733281e5c.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/04/12/32c812b9dfb5e661.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/04/12/630322a66330cb08.png?x-oss-process=style/bb)

下面我再列舉一些典型的查詢場景：

> select first(open), max(high), min(low), last(close), sum(volume), sum(amount) from 'bar_1m_SH600519' where trade_time >= '2021-12-25 09:30:00' and trade_time <= '2021-12-31 15:00:00' interval(30m) fill(null)

下圖為用 1 分鐘的 bar 資料合成 30 分鐘的 bar 資料，查詢出的茅臺股票在一段時間內的開盤價、最高價、最低價、收盤價。

![](http://img.blog.itpub.net/blog/2022/04/12/1a2487a3feba998e.png?x-oss-process=style/bb)

> sslect code,name,trade_time,trade_date,open,high,low,price,pre_price,volume,amount,ask_price1,ask_volume1,ask_price2,ask_volume2,ask_price3,ask_volume3,ask_price4,ask_volume4,ask_price5,ask_volume5,bid_price1,bid_volume1,bid_price2,bid_volume2,bid_price3,bid_volume3,bid_price4,bid_volume4,bid_price5,bid_volume5 from tick_stock where trade_time >='2022-03-18 09:30:00' and trade_time <='2022-03-18 09:30:02' and code in ('002429.SZ', '000006.SZ')

下圖為查詢某兩支股票在某個時間範圍內的 tick 資料。

![](http://img.blog.itpub.net/blog/2022/04/12/f3ec34abe048efac.png?x-oss-process=style/bb)

**期待 TDengine 3.0 版本**
除了資料庫本身的功能之外，我們也注意到 TDengine 的周邊生態也在不斷完善。在 2.4 版本釋出之後，它實現了很多功能更新，其中包括一款使用了監控資料庫（log 庫） + Grafana 對 TDengine 進行監控的解決方案——TDinsight。在此之前，我們使用的一直是我自己編寫的一款監控程式，但 TDinsight 使最終的展示效果更加清晰直觀，資料庫的執行狀態也更加一目瞭然。

於是，我們立刻著手更新了 TDengine 2.4 版本，並且部署了 TDinsight。

以下就是 Grafana 展示介面的一部分，可以看到，在當前併發寫入的規模下（每秒 1 萬-1.5 萬行），CPU 資源佔用率只有 1.88%，記憶體佔用只有 2G。儘管目前我們使用的是三臺 8 核 16G 的機器，但卻可以在相當長的時間內不用再擔心硬體資源問題了。

![](http://img.blog.itpub.net/blog/2022/04/12/5ee107d876f5b9b1.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/04/12/30e1354e98f38ee3.png?x-oss-process=style/bb)

不知不覺中，TDengine 在生產系統中已經跑了 38 周了，整體來說各方面效能都不錯。偶爾遇到的一些使用問題，也在 TDengine 社群得到了及時的幫助和解答，執行至今我們發現了兩個小 Bug，官方都很快響應處理了。儘管還有一些場景在當前的 2.0 版本還並不能完全適配，但 3.0 版本出爐後就可以解決了。

![](http://img.blog.itpub.net/blog/2022/04/12/32f5df4b8eaf4795.png?x-oss-process=style/bb)

最後祝 TDengine 越來越好吧，期待 3.0 版本的釋出讓它成為時序資料庫裡的 Oracle。

**作者：**
William (QQ: 392667) 16 年股票投資經驗，15年軟體開發經驗，負責青島金融研究院量化系統整體架構，以及相關高頻交易模型的開發。

------------

想了解更多 TDengine 的具體細節，歡迎大家在[GitHub](https://github.com/taosdata/TDengine "GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/03/31/0fd6ee826ee55f96.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?utm_source=itpub&utm_medium=tdengine&utm_campaign=usecase&utm_term=20220412)

“一隻股票一張表”， TDengine 在青島金融研究院量化分析場景中的應用

相關文章