作者：劉健 同心源（三亞）基金

> 小 T 導讀：同心源（三亞）基金管理有限公司是一家致力於採取科學方法，在二級市場進行投資的私募公司。公司的團隊成員均來自於國內外優秀大學，創始人具有計算機博士學位，有多年的演算法研究、軟體系統開發的經驗。

從我司的業務模式出發，業務人員主要透過資料探勘和自動模式識別這兩種方式來發現市場的交易規律。因此，我們的工作場景是基於大量的金融資料之上的，主要包括如下幾類：

1. 國內期貨市場的實時高頻資料，逐筆資料等
2. 國內期貨市場的歷史高頻資料，逐筆資料
3. 國內股票市場的高頻資料，逐筆資料等
4. 國內股票市場的歷史高頻資料，逐筆資料
5. 依據以上資料產生的更大量級衍生資料

經過多年發展，股票市場資料量十分龐大，隨著每日新資料的清洗寫入，總量變得更加水漲船高。對於十幾TB的資料量，單是進行儲存已經不易，如果還要對資料進行查詢下載等操作，更是難上加難。這些問題橫亙眼前，也讓我們對市面上的主流資料庫逐漸喪失信心。

後來，經過專業人士的引薦，我們嘗試了TDengine，沒想到它輕輕鬆鬆地就適配了我們的當前業務。

**具體實踐與落地效果**

選好資料庫之後我們馬上開始了搭建，並選擇了當時最新的2.1.3.2的版本部署落地，不同資料種類對應的資料庫分別如下：

**1）股票高頻資料庫，包括股票市場的歷史資料+每日新增資料：**

這類資料每日透過Python聯結器的方式，在收盤後批次匯入再做分析。其中每個表代表一個股票，共85列，以Float資料為主，共32311張。
![](http://img.blog.itpub.net/blog/2022/05/18/4a114920a9d5315f.jpeg?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/05/18/5eb7e36b61897614.jpeg?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/05/18/97232ff2504c4295.jpeg?x-oss-process=style/bb)

根據上述表結構計算，當前情況每行大概有408位元組的長度，然後我們用指令碼對所有表進行了行數查詢，大概是320億行。

**以上述資料為基礎對入庫的總資料量進行下估算，粗略計算為408*320億行，大概12TB左右，後面經過統計最終實際佔用磁碟空間卻只有2T左右，這令我們十分震驚——壓縮率高達16.7%。**
![](http://img.blog.itpub.net/blog/2022/05/18/e95d879a3f341198.png?x-oss-process=style/bb)

眾所周知，**Float型別的資料壓縮一直是資料庫領域的一個難題，尤其是對於行式儲存的資料庫更是困難，**高興之餘也非常感謝TDengine的列式儲存，幫助我們完美解決了這個棘手的問題。

之後從官方人員處我們得知，在後續版本中，TDengine還對浮點型別資料做了更進一步的演算法最佳化，壓縮率還能獲得大幅提升。只不過目前需要手動編譯，具體操作方式可以聯絡官方人員。

**2）期貨庫：**

期貨庫是部署在另一個伺服器上的，有如下三個：期貨高頻資料庫、期貨X頻率資料庫、期貨Y頻率資料庫。他們分別代表著國內全部期貨的高頻資料和不同時間頻率的聚合資料：

1）期貨高頻資料庫：實時記錄交易所傳送的tick資料

2）期貨X頻率資料庫：根據時間週期X設定，記錄聚合後的資料

3）期貨Y頻率資料庫：根據時間週期Y設定，記錄聚合後的資料

以上三個庫分別包含3351、5315、5208張子表，與股票庫一樣，它們同樣包括長期的歷史資料以及實時資料。

具體的表結構如下所示：
![](http://img.blog.itpub.net/blog/2022/05/18/7b4d96384d9a9496.jpeg?x-oss-process=style/bb)

在查詢方面，由於當前我們的查詢只是針對單表進行，因此邏輯比較簡單，程式碼如下：
![](http://img.blog.itpub.net/blog/2022/05/18/b19de16af79201df.jpeg?x-oss-process=style/bb)

此外，由於期貨不存在連續多年的行情，所以對於長期的資料展示，我們選擇用多段的每X個月資料進行拼接，查詢效率非常快。例如：在TDengine客戶端伺服器使用Python從服務端拉取連續兩個月的期貨行情資料，耗時僅需0.16秒。
![](http://img.blog.itpub.net/blog/2022/05/18/49ef6f80a5d322c6.jpeg?x-oss-process=style/bb)

下圖為因子1在期貨菜粕上的收益曲線，從這張圖中我們也可以看出，一些其他常用的函式比如max、last，基於TDengine的快取等技術也都實現了毫秒級返回資料。
![](http://img.blog.itpub.net/blog/2022/05/18/68a77997b1342c5f.jpeg?x-oss-process=style/bb)

**從“兩點問題”到深入合作**

**細心的讀者可能也留意到了文章中的兩個小問題：**

- 為什麼我們在估算原資料量時，是透過指令碼來統計所有子錶行數，再將其乘以單行位元組，而不是直接透過TDengine的“超級表”？
- 又為什麼在文章開頭的資料分類描述中，1-4條都在後文中都看到了實際對應的資料庫，但是唯獨沒有出現第5條——依據以上資料產生的大量衍生資料？

其實是這樣，由於專案初期沒有多表聚合查詢的需求，外加為了降低資料遷移的複雜度，因此在環境搭建初期時我們並沒有選擇超級表。

但是隨著業務的不斷完善，我們將會需要更大量的資料來做更復雜的分析，這也就出現了第5條的資料種類——依據以上資料產生的更大量級衍生資料。所以說，這部分資料將來源於我們後面的待上線業務中。

屆時，我們將會更深入地用到TDengine的其他核心特性，如超級表、眾多計算函式等等。但僅就當下而言，TDengine強大的儲存能力和快速查詢已經非常令我們驚喜，也讓我們對未來更加深入的合作充滿期待。

**關於作者：**

劉健，北京航空航天大學模式識別專業碩士學歷，曾經供職於中國航天科技集團從事軟體研發工作。2014年與朋友一起創業從事外匯、期貨、股票ETF的自動交易至今。著重致力於透過資料探勘、自動模式識別等方式在國內二級市場中進行自動量化交易。

想了解更多 TDengine Database 的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/TDengine"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

十年期貨股票行情資料輕鬆處理——TDengine在同心源基金的應用

相關文章