突破、進化,騰訊雲資料庫2018全年盤點

騰訊雲加社群發表於2019-01-31

在企業上雲逐漸加速的背景下,雲資料庫作為企業重要的IT基礎設施,其重要性毋庸置疑。各大雲端計算廠商不惜重金,紛紛在產品和技術層面加大布局,爭奪這一重要的雲服務市場。縱觀國內前幾大雲服務商過去一年的雲資料庫領域的發展,騰訊雲基於自身強大的業務支撐以及技術研發實力,在雲資料庫市場的突破格外引人注目。

具體來說,針對存量市場,2018年下半年,騰訊雲重磅推出雲原生資料庫CynosDB,該款資料庫的單節點讀效能達到驚人的130萬QPS,超過業內目前最高100萬QPS水平,而價格只是市面上商業資料庫的1/15。同時,CynosDB也是業界第一款全面相容MySQL和PostgreSQL的高效能企業級分散式雲資料庫,強悍的效能和極致的價效比然該資料庫一經推出便在市場上引起強烈反響。在自主可控資料庫領域,騰訊雲TDSQL金融級分散式資料庫在對內支撐包括微信紅包等海量業務的同時,對外也正在為中國金融行業提供分散式資料庫解決方案,落地勢頭迅猛。

增量市場上,針對於物聯網、大資料和網際網路監控等擁有海量時序資料的場景,騰訊雲重兵佈局時序資料庫CTSDB和NoSQL資料庫MongoDB。下半年推出的CTSDB時序資料庫不僅可以降低資料儲存成本,也能簡化日常運維工作。 需要指出的是針對小程式的風口,騰訊雲接下來還將主攻Serverless領域,全面降低小程式開發門檻。

持續不斷的技術和資源投入,也讓騰訊雲資料庫收穫眾多使用者的認可。其中,越來越多的企業選擇將核心業務系統託付給騰訊雲資料庫。應用場景上,騰訊雲資料庫業務基本覆蓋電商、金融、遊戲、O2O等全行業,眾多知名大中型企業比如小紅書、獵豹、每日優鮮、聽雲、搜狐暢遊、微眾銀行、蘑菇街、貓眼等等都選擇騰訊雲資料庫提供的服務,在騰訊雲的支援下,這些企業2018年也都業績長虹。

CynosDB:效能全面領先同類,擁有極致價效比

作為騰訊雲在公司架構調整完成後向外界釋出的首款產品,CynosDB強悍的效能,極致的價效比,使得其無疑成為年度資料庫市場的一顆重磅炸彈,可謂不鳴則已一鳴驚人。據介紹,CynosDB融合了傳統資料庫、雲端計算和新硬體的優勢,支援無限量儲存、百萬級查詢和秒級的故障恢復。單節點讀效能達到130萬QPS,超過業內目前最高100萬QPS水平,全面領先國內其他同類產品,而價格只為市面上商業資料庫的1/15。

更為可貴的是,CynosDB在產品架構設計上相容開源資料庫引擎介面,讓企業幾乎無需更改程式碼,就可以實現“無縫上雲”。作為國內首家相容MySQL和全球第一個相容PostgreSQL的雲資料庫產品,CynosDB在技術層面的多項創新,讓其具備真正的公有云原生資料庫高價效比、高可用性以及彈性擴充套件等諸多優勢,助力企業大幅降低“上雲”成本。

比如,採用“日誌即資料庫”技術方案,可以最大限度的減少網路資料輸入/輸出(IO)。自研的使用者態分散式檔案系統,減少了作業系統上下文切換以及資料在使用者態和核心態之間拷貝引起的效能損耗,為企業後期業務擴充套件留下空間。另外,CynosDB 的“可計算智慧儲存”進一步滿足企業的實際應用場景,讓企業按實際使用量計費,自動擴縮容。在降低企業開支的同時,輕鬆應對突發的業務規模變化。

根據公開的報導,騰訊雲技術團隊對資料庫核心進行了深度定製,總共進行了近60多項優化。為了提升系統可用性,CynosDB以軟體優化與新硬體結合為理念,採用了先進的計算和儲存分離架構,同時實現了計算無節點狀態,支援秒級故障切換和恢復,資料備份時間縮短到60秒之內,速度提升了180倍。

TDSQL:落地勢頭迅猛,國內自主可控雲資料庫典範

在網際網路安全已經上升至國家戰略層面的背景下,如何從底層基礎資料庫層面實現自主可控成為雲端計算廠商不斷追求的目標。TDSQL無疑是騰訊雲資料庫自主可控最典型的代表。實際上,基於微信支付/紅包的複雜業務場景,騰訊一直致力於實現資料庫的自主可控,保證資料強一致性、高可用和水平擴充套件。金融級分散式資料庫TDSQL在對內支撐微信紅包業務的同時,對外也正在為中國金融行業技術自主可控分散式資料庫解決方案。

以國內首家網際網路銀行微眾銀行為例,其背後的 IT 基礎架構拋棄了傳統的 IOE,完全採用了網際網路分散式架構,從 2014 年開始,騰訊雲開始為微眾銀行提供核心交易資料庫解決方案。TDSQL 在微眾銀行作為交易核心 DB,部署超過 800 個節點,承載全行所有 OLTP 業務。

微眾銀行副行長兼 CIO 馬智濤也表示:“2017 年微眾銀行將每個賬戶的運營成本降至平均只有 6 元人民幣,僅為內地傳統銀行的 1/10,相比國際銀行則更低,只有其成本的 2% 至 5%。”

作為騰訊一款推出時間較長的自主可控資料庫,TDSQL隨著支撐業務規模擴大,以及實際場景的不斷打磨,其核心效能也在突飛猛進。比如TDSQL除了提供計算下推,分散式事務等特性,也針對OLAP需求演進了TDSpark特性。

簡單來說,是將SQLEngine基於OLAP場景做了修改,保留原生的MySQL協議接入能力。因此業務可以繼續通過訪問MySQL的渠道接入到OLAP-SQLEngine,OLAP-SQLEngine在這個時候不是將分散式的查詢計劃直接下推到各個資料庫節點,而是引入一箇中間層,目前是通過SparkSQL強大的計算能力能顯著提升複雜SQL的執行效能。為了確保分析操作與線上的OLTP業務隔離,TDSQL的資料層為每份資料增加1個watch主資料庫的資料非同步節點,確保分析操作與線上業務操作不互相影響。

在實際的落地場景上,TDSQL過去一年的戰績頗豐。比如除了支撐微眾銀行之外、還支援華通銀行、華夏銀行、濰坊銀行、內蒙金谷農商銀行、北京人壽、愛心人壽等眾多銀行和保險公司的網際網路核心生產系統,並已經為超過500+的政企和金融機構提供資料庫的公有云及私有云服務,客戶覆蓋銀行、保險、證券、網際網路金融、計費、第三方支付、物聯網、網際網路+、政務等領域,得到了客戶及行業的一致認可。

TencentDB for MySQL:生態建設更加完善

在世界上最流行的開源關聯式資料庫MySQL領域,除了效能的不斷完善之外,騰訊雲更加生態層面的建設,比如,騰訊雲MySQL2018年重大的效能突破之一是實現秒級監控。日常監控支援60秒粒度,覆蓋連線訪問、資料庫負載、查詢快取、儲存引擎等七十餘項重要指標,可全方位監控資料庫執行狀況。

十五項資料庫核心效能指標支援秒級的實時監控,可幫助使用者及時掌握例項執行狀況,快速定位例項效能問題。自定義資源閾值告警,可幫助使用者知曉 DB 執行中的問題。它將問題及時反饋給運維人員,幫助您快速響應資料庫問題。提供慢查詢分析報告和 SQL 完整執行報告下載,幫助您瞭解影響資料庫效能的因素。

另外,生態化建設中的至關重要的遷移和訂閱的功能也全面上線。比如騰訊雲資料傳輸服務(Data Transmission Service,DTS)支援 MySQL、MariaDB、PostgreSQL、Redis、MongoDB 等多種關係型資料庫及NoSQL資料庫遷移,可幫助使用者在業務不停服的前提下輕鬆完成資料庫遷移上雲,利用實時同步通道輕鬆構建高可用的資料庫容災架構,通過資料訂閱來滿足商業資料探勘、業務非同步解耦等場景需求。

這個功能具有很強的實際應用價值,比如很多使用者希望系統遷移時不影響業務提供服務。然而在遷移過程中,不停服就無法保證遷移資料的一致性。針對這樣的問題,藉助騰訊雲資料傳輸服務DTS提供的資料遷移功能,就可以全面滿足使用者不停服遷移的需求,使用者只需要通過簡單的幾步設定,即可完成資料從本地遷移上雲的一系列繁瑣工作。

目前,資料傳輸服務DTS已實現全Web化操作,控制檯點選操作即可實現自動資料遷移,無需人工值守。

CTSDB和MongoDB:佈局未來,搶佔制高點

正如上面提到,隨著5G時代的到來,針對於物聯網、大資料和網際網路監控等擁有海量時序資料的場景,騰訊雲重兵佈局時序資料庫,騰訊雲推出的CTSDB不僅可以降低資料儲存成本也能簡化日常運維工作。

CTSDB(Cloud Time Series Database) 是一種分散式、高效能的時序資料庫,針對時序資料的高併發寫入、存在明顯的冷熱資料、IoT 使用者場景等做了大量優化。作為騰訊唯一的時序資料庫,CTSDB 支撐了騰訊內部20多個核心業務 ,包括微信彩票、財付通、雲監控、雲資料庫、雲負載等。其中,雲監控系統記錄了騰訊內部各種軟硬體系統的實時狀態,CTSDB 承載了它所有的資料儲存,在每秒千萬級資料點的寫入壓力、每天 20TB+資料量的寫入場景下穩定執行,足以證明CTSDB可以穩定支撐物聯網的海量資料場景。

另外,針對小遊戲的風口,以及小遊戲行業需求變化很快的特點,騰訊雲MongoDB特別適用遊戲後端資料庫,無固定 schema 的模式可以免去變更表結構的痛苦,大幅度縮短版本迭代週期,同時,還可以將 MongoDB當作快取伺服器使用,合理規劃熱資料。

目前,騰訊雲資料庫MongoDB已經支撐數款日活峰值20000w且流水上億的微信小遊戲。這些都緣於騰訊雲MongoDB獨特的效能特性,比如,騰訊雲資料庫MongoDB是國內唯一提供表級監控的雲廠商。除此之外,騰訊雲MongoDB也是國內唯一提供提供庫表回檔服務的雲資料庫,為客戶提供更細粒度回檔服務。舉個例子,例如有一天遊戲的某個模組上線之後,發現有使用者在刷錢,分析發現因為一個Bug引起的,此時如果直接強制性把使用者的錢收回來是非常不合理的,有了這個功能後,此時僅需要把這個bug引起的庫表進行回檔就可以。

開源:與MariaDB基金會戰略合作,共建全球開源生態圈

騰訊雲資料庫過去的一年成績斐然,除了產品技術領域的不斷突破和進化,在開源領域的佈局也值得一提,據瞭解,12月份,騰訊雲宣佈與MariaDB基金會正式簽署戰略合作協議,2019年,騰訊雲將繼續以白金會員身份為基金會的發展提供強有力的資源支援,與MariaDB全球使用者和開發者一道,共建開放共贏的全球開源生態圈。

騰訊雲自去年成為該基金會白金會員以來,深度參與基金會的各項會議與決策。同時,騰訊雲資料庫核心團隊持續輸出騰訊在MariaDB資料庫上的經驗和技術,推動MariaDB的版本迭代和功能更新。

比如,在InnoDB引擎層面,TXSQL在MariaDB 改進的基礎上做了進一步的優化,使系統吞吐量較Oracle MySQL 版本提升了20%;在聚合運算層面,TXSQL核心對聚合運算也做了特別的優化,極大的提升了資料庫的查詢效能,如sum聚合,在資料量為100萬的條件下達到7倍左右的效能提升。

“一年以來,騰訊云為MariaDB核心功能完善做出了突出貢獻,騰訊雲資料庫對TXSQL的現有修改將持續貢獻給MariaDB程式碼庫。騰訊雲在資料庫領域的深厚積累,將推動MariaDB構建持續創新的開源生態。和騰訊雲的持續合作,將幫助MariaDB成為開源資料庫領域的典範。”MariaDB基金會CEO Arjen Lentz表示。

此文已由作者授權騰訊雲+社群釋出

搜尋關注公眾號「雲加社群」,第一時間獲取技術乾貨,關注後回覆1024 送你一份技術課程大禮包!

相關文章