在金融量化交易場景中，每天都會產生大量的交易記錄和交易資訊需要儲存，同時對資料也有較高要求的查詢需求，整體需求概括起來就是歷史資料的儲存、實時資料的接收以及資料的監控和分析。對於這類有典型時序特徵的資料，很多企業在業務初期選擇了團隊熟悉的 HBase、MySQL、MongoDB 等資料庫。但是隨著業務的快速發展，這些資料庫已經無法滿足大體量資料的寫入、儲存、分析監控等業務需求。

為了幫助一眾金融企業尋找到合適的資料庫解決方案，我們彙總了幾個比較有代表性的企業客戶案例，希望他們的相關實踐經驗應該能夠給到行業從業者一些解決思路。

**[TDengine x 同花順]( https://www.taosdata.com/user-cases/3004.html"TDengine x 同花順")**

“目前從大資料監控這個場景看，[TDengine]( https://www.taosdata.com/"TDengine") 在成本、效能和使用便利性方面都顯示出非常大的優勢，尤其是在節省成本方面給我們帶來了很大驚喜。在預研和專案落地過程中，濤思資料的工程師也提供了專業、及時的幫助，後續我們也將在同花順的更多場景中嘗試應用 TDengine。”

**業務背景**

同花順每天需要接收海量交易所行情資料，確保行情資料的資料準確。但由於該部分資料過於龐大，而且使用場景頗多，每天會產生很多的加工資料，整個系統除了對實時資料的讀寫效能及延時有較高要求外，還需要聚焦歷史日級別資料做投資組合的各種分析，在整個分析過程中，涉及巨量的資料集，這對歷史資料庫的讀寫效能也提出了很高的要求。之前採用的 Postgres+LevelDB 資料儲存方案，除了依賴多、穩定性較差外，效能方面也無法滿足需求（點選下方案例連結獲取具體業務痛點問題）。透過對 ClickHouse、InfluxDB、TDengine 等時序資料儲存方案的調研，最終其選擇了 TDengine。

**架構圖**

![](http://img.blog.itpub.net/blog/2022/10/13/f496cf574877ff89.png?x-oss-process=style/bb)

**改造後效能對比**

![](http://img.blog.itpub.net/blog/2022/10/13/6627631027511092.png?x-oss-process=style/bb)

點選[案例]( https://www.taosdata.com/user-cases/3004.html"案例")檢視更多技術細節

[**TDengine x 弘源泰平**]( https://www.taosdata.com/chinese/3180.html"**TDengine x 弘源泰平**")

“在寫入上，單節點TDengine可以輕鬆實現每秒大概 3 萬行資料的寫入量，同時消耗伺服器資源又比 InfluxDB 與 MySQL 要小很多。目前我們透過 TDengine 錄入的兩個訊號表已經寫入了 82 億條資料，原資料大概為 92GB，實際佔用儲存空間為 20G 左右，壓縮率高達 23%。除了寫入與儲存，TDengine 進行日常查詢的速度也十分優秀，面對幾十億級別的大表，也能實現毫秒級響應。”

**業務背景**

弘源泰平的量化交易系統每天要接收大量的行情資料，也要基於行情產生大量的決策訊號。這些資料都需要及時存下來，供盤中和盤後使用。傳統存放行情資料的方式有檔案系統、關係型資料庫或者文件資料庫。此前他們分別嘗試了 MySQL 和知名的時序資料庫（Time Series Database） InfluxDB，但是效能都沒有達到預期，出現了響應時間長、資源浪費等諸多問題（點選下方案例連結獲取具體業務痛點問題）。最終，其改用 TDengine 徹底解決了實時寫入大量資料點和快速查詢的問題。

**資源消耗**

伺服器配置如下：64G記憶體+40核 1.8GHz CPU+機械硬碟。在業務執行期間，taosd 的 CPU 在 4% 上下浮動，程式使用的實體記憶體百分比為 11.2%。由於其 vnode 配置較多，而每個 vnode 都有自己固定的記憶體緩衝區，因此記憶體佔用稍多，但後續即便是繼續大量增加新表或者加大寫入量，記憶體佔用也不會再有明顯的浮動了。

![](http://img.blog.itpub.net/blog/2022/10/13/04a7725ae18adf0e.png?x-oss-process=style/bb)

點選[案例]( https://www.taosdata.com/chinese/3180.html"案例")檢視更多技術細節

[**TDengine x 同心源（三亞）基金**]( https://www.taosdata.com/user-cases/3364.html"**TDengine x 同心源（三亞）基金**")

“對入庫的總資料量進行下估算，粗略計算為 408*320 億行，大概 12TB 左右，後面經過統計最終實際佔用磁碟空間卻只有2T左右，這令我們十分震驚——壓縮率高達 16.7%。在查詢方面，從TDengine客戶端伺服器使用Python從服務端拉取連續兩個月的期貨行情資料，耗時僅需 0.16 秒。”

**業務背景**

從同心源的業務模式出發，業務人員主要透過資料探勘和自動模式識別這兩種方式來發現市場的交易規律，其工作場景基於大量的金融資料之上。經過多年發展，股票市場資料量越發龐大，隨著每日新資料的清洗寫入，總量變得更加水漲船高。對於十幾 TB 的資料量，單是進行儲存已經不易，如果還要對資料進行查詢下載等操作，更是難上加難。種種問題疊加，同心源對市面上的主流資料庫逐漸喪失信心，嘗試使用更有針對性的時序資料庫，TDengine 便是他們的選擇之一。

點選[案例]( https://www.taosdata.com/user-cases/3364.html"案例")檢視更多技術細節

**[TDengine x 青島金融研究院]( https://www.taosdata.com/user-cases/7540.html"TDengine x 青島金融研究院")**

“根據不同型別的業務，我們建立了 7 張不同的超級表，子表數量為 33076 張，目前我們匯入的資料總量已經達到了 46 億之多，其中最大的一張超級表達到了 26 億行，實際磁碟佔用大概在 130GB 左右。”

**業務背景**

在其業務場景中，TDengine 主要負責三點：一是對回測的資料支援，二是基於以上資料進行的回測資料分析，三是部分盤中策略的資料預載入。目前其資料入庫方式是使用 Python 聯結器直接寫入 TDengine（6030 埠）。具體方式為：會透過券商的直連線口將他們提供的資料做一個 SQL 拼接，利用拼接 SQL 的方式，單個 SQL 寫入幾千行資料，將大批資料一次性寫入到一個表中。

點選[案例]( https://www.taosdata.com/user-cases/7540.html"案例")檢視更多技術細節

**寫在最後**
從上述案例中我們也能看到，看似簡單的資料處理需求，但由於資料記錄條數巨大，導致資料的實時寫入成為瓶頸，查詢分析極為緩慢，資料儲存成本顯著，技術挑戰層出不窮。而傳統的關係型資料庫、NoSQL Database 沒有針對性去對應時序資料特點，在效能提升上極為有限，只能依靠叢集技術，投入更多的計算資源和儲存資源來處理，系統的運營維護成本也因此急劇上升。從他們的改造實踐出發，選擇時序資料庫也是真正的實現了“對症下藥”。

------------

歡迎新增小T（TDengine），加入物聯網技術討論群，第一時間瞭解TDengine 官方資訊，與關注前沿技術的同學們共同探討新技術、新玩法。

想了解更多 [TDengine Database]( https://www.taosdata.com/?zh"TDengine Database")的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/TDengine"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

資料庫改造方案 | 同花順、弘源泰平真實案例分享

相關文章