DTCC 2020:資料庫工程師眼中的資料庫市場

資料庫頻道發表於2021-01-08

2020年12月21日~12月23日,由 IT168 旗下 ITPUB 企業社群平臺主辦的第十一屆中國資料庫技術大會(DTCC2020)在北京隆重召開。PingCAP 資料庫核心研發工程師韋萬以《使用TiDB列存引擎進行實時資料分析》為主題進行了精彩的議題分享,並在議題分享後接受了IT168小編的採訪,以下是採訪實錄:

PingCAP 資料庫核心研發工程師 韋萬

IT168:韋老師您好,很高興有機會採訪到您,首先請您簡單介紹下自己以及負責和關注的領域。

韋萬:大家好,我來自 PingCAP,是一名資料庫核心研發工程師。目前主要負責 TiDB 的實時分析方向儲存側的研發工作,關注資料庫、高效能運算和分散式系統等技術方向。

IT168:資料庫核心研發在大家看來似乎是份很神祕的工作,核心工程師每天的工作內容有哪些?一名合格的核心工程師都有哪些門檻和要求?

韋萬:其實工作內容和其它程式設計師沒有太大區別,涉及技術調研,需求分析,編碼實現,測試調優等各個方面。由於是做基礎軟體的,我們重視產品功能的競爭力的同時,對質量更加註重。比如我們的方案評審相對更嚴格,新功能和 bug fix 方案,需要確保其它同學,包括社群成員都能充分理解。要達到這個程度,需要研發人員提供詳實的資料,以及完整的決策鏈路,充分聽取其它人的建議,最終說服大家,達成一致才會動手去做。這看起來費時費力,但卻可以讓產品的設計保持在一個正確的路徑上。

如果你是一名希望進入這個行業的新人,那麼紮實的 CS 基礎,以及對資料庫的熱愛,足以讓你在資料庫研發領域起步。TiDB 作為一個流行的資料庫開源專案,有豐富的技術資源和活躍的社群,並且有很多適合新手的任務幫助你快速成長。

IT168:本屆DTCC以“架構革新 高效可控”為主題,您對此有何理解?請結合這些年資料庫技術架構的演變,談談您對這個主題的見解。

韋萬:我們現在處於一個快速革新的時代,一個技術升級的時代。從單機到分散式,從本地到雲端,從穩態到敏態等等。它對傳統資料庫廠商和新勢力來說都是巨大的機遇,未來的贏家一定是把握住了這次技術升級的紅利。

目前 TiDB 在國內外網際網路頭部公司得到廣泛的應用,造就了成熟的產品和領先的應用場景,頂級的開源社群吸引了全球的研發人才,在這個基礎上相信會誕生領先的資料庫產品。隨著企業數字化轉型的不斷升級,事實上現在已經到了一個拐點,中國資料庫廠商將迎來新一波的高速發展機遇。

IT168:TiDB作為貴司的主打產品,近來都進行了哪些產品的升級迭代和技術的創新?這些升級能夠對使用者業務的提升有哪些積極意義?

韋萬:所有的需求最終一定是來自使用者需求的。TiDB 的策略是和社群和使用者緊密結合,共同成長,從而獲得更高的加速度。

引入 TiFlash 增強 OLAP 能力,讓 TiDB 成為真正的 HTAP 資料庫;我們支援了悲觀鎖,優化高頻事務衝突的場景;優化分散式事務的二階段提交降低延遲,並支援 Clustered Index,讓 TiDB 更能勝任金融場景的苛刻要求;支援雲上 DBaaS 模式,讓 TiDB 在雲上使用成本降到最低。未來,隨著 TiDB 的生態持續擴大,它的迭代速度會更快。

IT168:您本次DTCC的演講題目是《使用TiDB列存引擎進行實時資料分析》,通過該議題分享能夠給聽眾帶來哪些啟發和思考?TiFlash作為TiDB 新版釋出的高效能列存引擎,其產品主要特點和優勢有哪些?

韋萬:通過合理的設計,我們可以擴充套件單個資料庫的邊界。TiDB 通過引入 TiFlash,擁有了和其它分析型資料庫一樣甚至更強大的 OLAP 能力,即同時擁有了金融核心級別的 OLTP 能力和對實時資料進行快速分析的 OLAP 能力。同時 OLTP 和 OLAP 又能保證隔離效果,互不影響。使用者可以大大的簡化他們的技術棧,這樣的體驗對於業務開發者來說是非常友好的,並且可以降低企業的成本。

IT168:縱觀全球資料庫市場,您認為目前國內資料庫市場和國際市場相比存在哪些差異化?相比之下國內資料庫產品有哪些優勢,又有哪些需要借鑑之處?

韋萬:我認為國內企業對於資料庫的要求,已經普遍比國際市場更高了。在中國頭部的金融與網際網路使用者的業務場景中,產生了海量規模的資料,最高的 TPS 需求,最低的延遲要求,最複雜的場景錘鍊,以及配上較差的付費習慣,活脫脫一個 Hell 模式。在這種環境下走出來的產品,必定已經包含了成為世界級資料庫產品的基因。

在產品策略上,作為國內的同業者作為資料庫領域的追趕者,可以更關注如何利用新場景、新技術、新平臺的機遇。Snowflake 就是一個非常好的學習物件,它利用雲平臺的優勢,重新發明了資料庫倉庫。

IT168:請您做一下簡單的預測,您認為未來資料庫市場將會發生怎樣的轉變,未來資料庫平臺的發展趨勢是怎樣的?

韋萬:我認為未來資料庫平臺的發展趨勢主要有以下幾點:

●雲原生是大趨勢,擁有云基因,充分利用雲基礎設施的資料庫將贏得未來;

●開源將成為基礎軟體包括資料庫的重要甚至主要的產品形態;

●垂直領域資料庫將長期存在並越發繁榮,直到新技術的出現,將它們統一起來。

IT168:貴司在今年11月份剛剛完成2.7億美元的D輪融資,並表示本輪融資將用於分散式資料庫關鍵核心技術的研發,未來對通用分散式資料庫TiDB有哪些升級規劃?

韋萬:我們會進一步強化 TiDB 產品,擴大效能和穩定性的領先優勢,把覆蓋範圍內的功能點做透;會持續進行架構升級,以更好支撐本地以及雲上兩種部署模式;讓 TiDB 變得更易理解,更易使用,能穩定支援更多場景。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31545814/viewspace-2748352/,如需轉載,請註明出處,否則將追究法律責任。

相關文章