專訪 | GBase技術徵文大賽 優選一等獎是如何練成的

GBASE南大通用發表於2022-05-24

日前, GBASE 聯合墨天輪社群共同舉辦了《第一屆GBASE 技術文章有獎徵文活動》。本次活動獲得了社會各界朋友的廣泛支援,數百次文章轉發,6000 多名使用者參與投票,票選出了優選文章一、二、三等獎。某部直屬單位執行管理部資料庫工程師黃永厚撰寫的《資料平臺開啟轉型之路:GBase 8a 在複雜查詢場景下的效能實踐》獲得1708 張選票,榮獲優選文章一等獎。

   

作者介紹

黃永厚- 某部直屬單位執行管理部資料庫工程師

從事資料管理二十餘年,主要與Oracle 資料庫打交道,經歷過瘋狂的東方龍馬 Oracle 時代( Oracle716/734/817 等等),主持過基於 PostgreSQL 的國產資料庫產品的研發。對資料庫產品的效能優化和高可用建設較為關注,積累了一定經驗。  

黃永厚表示:為構建可持續的業務發展,計劃引入MPP 資料庫叢集架構,承接現有和未來的海量結構化資料複雜分析查詢,從而優化核心資料庫平臺資源利用。資料庫國產化轉型是最近幾年的技術熱點,無論是從技術角度還是從行業政策角度來說,均會對我們自身的資料平臺可持續未來發展產生重要影響。通過開展 POC 原型驗證測試和技術儲備積累,加速推動資料庫平臺國產化轉型,也希望可以為同行提供一定的借鑑。

GBase 資料庫印象

本人於2018 年底開始接觸和深入瞭解國產資料庫產品和開源資料庫產品的發展,重點關注瞭解了南大通用 - 大規模分散式並行資料庫叢集系統 GBase 8a 後發現,在國內分析類 MPP 資料庫市場, GBase 8a 的應用較為廣泛。 2021 5 月,抱著系統學習和了解的心態報名參加了 GBase 8a 線上學習訓練營。源於職業習慣和愛好,個人部署了一套較為簡陋的環境進行原型驗證測試,從而驗證了不同種類的資料庫產品優勢所在。對於分析類的資料需求,資料載入效率、資料型別相容性、結構化查詢友好性以及複雜查詢效能,就此類指標整理此篇文章,讓我對國產資料庫產品的效能也有很大的改觀。

國產資料庫發展看法和建議

從長遠視角而言,資料庫國產化替代是必然結果。目前在保證業務連續性的前提下,對各大主流國產資料庫和開源資料庫產品開展調研、測試和原型驗證。條件允許的情況下,會選擇合適的業務部署使用國產資料庫產品,以便為核心業務的更換積累遷移和執行經驗。

但目前對於國產資料庫廠商而言,使用者往往將他們的產品直接和Oracle 此類老牌企業級資料庫產品相比,在某種程度而言相當不公平。因此也面臨著以下幾個問題:

1. 資料庫研發對人才要求很高,要有很高很深的知識面和豐富的資料管理經驗,閉門造車和純理論派都很難造出市場真正需要的資料庫車輪子。人才的缺乏,是當前亟待解決的問題,這也意味著需要很高的投入。

2. 資料庫產品路線圖規劃:客戶往往關注操作友好性(使用者習慣延續性)、資料一致性、資料零丟失、高可用、叢集、災備、備份與恢復、資料匯出匯入以及資料遷移等資料庫運維常常涉及的主要環節。隨著網際網路和物聯網的廣泛使用,現在的企業資料與 20 年前相比,基本翻了幾十倍, TB 級資料已具有普遍性。對資料庫產品來說,多節點、雲原生、 K8s 容器化等要求逐漸成為主流趨勢,伴隨而來的就是資料路由等輔助產品的研發。目前大多數行業的核心業務市場還是集中在關係型資料庫上,不管是傳統的單機型關係型資料庫,還是最近崛起的分散式關係型資料庫、雲原生分散式關聯式資料庫、雲原生 HTAP 資料庫,資料庫產品經理都要在功能上達到平衡。資料庫產品的設計首先要保證能用,然後實現好用,如果能做到這一點,最起碼可以成功一半。

資料庫的技術門檻較高,但像MySQL PostgreSQL 等開源資料庫,入門門檻相對較好,但是作為一名從業多年的 DBA ,想對新入行的同行說:資料庫往往是整個技術架構的單一核心,可用性要求非常高,內部機制繁雜,往往涉及到底層儲存、網路、作業系統以及多變的業務邏輯、海量資料處理、高效能的查詢響應、零資料丟失、災備等交叉影響。系統地學習資料庫的系統管理、效能優化和內部機制,是非常有助於自身的快速成長。

 


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69979120/viewspace-2896676/,如需轉載,請註明出處,否則將追究法律責任。

相關文章