4篇論文入選資料庫頂會,騰訊雲突破資料庫效能瓶頸

新闻助手發表於2024-08-29

今日獲悉,騰訊資料庫4篇論文入選國際資料庫頂級會議VLDB,多項最佳化創新方案突破了資料庫領域的效能瓶頸數等多項難題,技術創新能力再獲國際權威認可。

VLDB(International Conference on Very Large Data Bases)是資料庫研究領域歷史悠久的國際會議,與ICDE和SIGMOD並稱資料庫三大頂級會議,每年為資料庫領域提供大量高質量的研究論文和研究成果,具有重要的學術價值和行業引導意義。

4篇論文入選資料庫頂會,騰訊雲突破資料庫效能瓶頸


近些年,隨著新興技術迅猛發展,各行各業產生的資料量呈爆炸式增長分散式、雲原生等多種場景資料庫應運而生。與此同時,分散式場景也迎來如何權衡效能與一致性等一系列新的挑戰。

在入選論文——《TDSQL: Tencent Distributed Database System》中,騰訊雲分享了設計、開發和最佳化大規模分散式資料庫系統TDSQL的經驗。在分散式架構上,TDSQL透過大量的實現和最佳化,包括核心最佳化、物理複製的實現與最佳化、分散式鎖的最佳化等,使得TDSQL能在保持一致性的情況下有效處理大量資料和高併發。在去年3月的TPC-C 基準測試中,TDSQL效能達到每分鐘 8.14 億筆交易(tpmC),打破了世界紀錄。

在高效能的鍵值儲存引擎中,高效能索引結構往往需要佔用過量記憶體以換取極高的索引效能。針對這一熱門研究課題,騰訊雲與華中科技大學合作的最新研究成果《FluidKV: Seamlessly Bridging the Gap between Indexing Performance and Memory-Footprint on Ultra-Fast Storage》中提出了一種兼顧高讀寫效能和低記憶體佔用的索引機制。

這種基於動態多階段的索引架構FluidKV,可將索引項從記憶體佔用率高的階段,快速遷移到記憶體友好的持久儲存階段,利用高效能儲存裝置的頻寬減輕記憶體壓力。在此基礎上,透過匹配IO傳輸粒度,並根據使用者負載讀寫比例最佳化緩衝等方式,可以讓讀寫效能保持在最高檔位。實驗結果顯示,對比持久索引的相關工作,FluidKV的讀寫效能均處於最高一檔,同時最多可減少90%的記憶體佔用。

4篇論文入選資料庫頂會,騰訊雲突破資料庫效能瓶頸

騰訊資料庫團隊現場分享論文)

此外,騰訊雲與北京大學、北京交通大學合作的最新研究成果也入選了2024年VLDB長文,文章《Efficient and Accurate SimRank-based Similarity Joins: Experiments, Analysis, and Improvement》提出了高效且準確的SimRank圖節點相似度連線演算法,實驗表明,該演算法較已有方法實現了查詢效率近一個數量級的提升。

隨著CPU、大記憶體、高速儲存裝置的發展,讓CPU更多的用於實際的計算任務是高效利用這些新硬體的關鍵之一。但目前,整個資料庫系統中,存在大量的等待事件,會導致CPU“卡住”,即讓CPU處於無效的等待狀態,造成CPU資源的浪費。

在入選論文《The Art of Latency Hiding in Modern Database Engines》中,騰訊雲則聯合西蒙·弗雷澤大學,針對高效能的OLTP處理難題,提出了基於雙佇列的流水線事務處理機制,可以進一步減少CPU的無效等待,讓CPU充分應用於實際的計算任務中。實驗表明,在資料量大於記憶體、混合負載的場景下,該系統可取得33倍的效能提升。

作為國內資料庫行業先行者,騰訊雲已經深耕資料庫領域十餘年,服務超過50萬客戶,未來,騰訊雲將持續深耕實際場景需求,不斷探索與攻堅資料庫難題,推動資料庫領域的學術進步與技術成果轉化,助力更多企業實現業務創新與高質量發展。

相關文章