專訪 | GBase技術徵文大賽 優選一等獎是如何練成的
日前, GBASE 聯合墨天輪社群共同舉辦了《第一屆GBASE 技術文章有獎徵文活動》。本次活動獲得了社會各界朋友的廣泛支援,數百次文章轉發,6000 多名使用者參與投票,票選出了優選文章一、二、三等獎。某部直屬單位執行管理部資料庫工程師黃永厚撰寫的《資料平臺開啟轉型之路:GBase 8a 在複雜查詢場景下的效能實踐》獲得1708 張選票,榮獲優選文章一等獎。
作者介紹
黃永厚- 某部直屬單位執行管理部資料庫工程師
從事資料管理二十餘年,主要與Oracle 資料庫打交道,經歷過瘋狂的東方龍馬 Oracle 時代( Oracle716/734/817 等等),主持過基於 PostgreSQL 的國產資料庫產品的研發。對資料庫產品的效能優化和高可用建設較為關注,積累了一定經驗。
黃永厚表示:為構建可持續的業務發展,計劃引入MPP 資料庫叢集架構,承接現有和未來的海量結構化資料複雜分析查詢,從而優化核心資料庫平臺資源利用。資料庫國產化轉型是最近幾年的技術熱點,無論是從技術角度還是從行業政策角度來說,均會對我們自身的資料平臺可持續未來發展產生重要影響。通過開展 POC 原型驗證測試和技術儲備積累,加速推動資料庫平臺國產化轉型,也希望可以為同行提供一定的借鑑。
GBase 資料庫印象
本人於2018 年底開始接觸和深入瞭解國產資料庫產品和開源資料庫產品的發展,重點關注瞭解了南大通用 - 大規模分散式並行資料庫叢集系統 GBase 8a 後發現,在國內分析類 MPP 資料庫市場, GBase 8a 的應用較為廣泛。 2021 年 5 月,抱著系統學習和了解的心態報名參加了 GBase 8a 線上學習訓練營。源於職業習慣和愛好,個人部署了一套較為簡陋的環境進行原型驗證測試,從而驗證了不同種類的資料庫產品優勢所在。對於分析類的資料需求,資料載入效率、資料型別相容性、結構化查詢友好性以及複雜查詢效能,就此類指標整理此篇文章,讓我對國產資料庫產品的效能也有很大的改觀。
國產資料庫發展看法和建議
從長遠視角而言,資料庫國產化替代是必然結果。目前在保證業務連續性的前提下,對各大主流國產資料庫和開源資料庫產品開展調研、測試和原型驗證。條件允許的情況下,會選擇合適的業務部署使用國產資料庫產品,以便為核心業務的更換積累遷移和執行經驗。
但目前對於國產資料庫廠商而言,使用者往往將他們的產品直接和Oracle 此類老牌企業級資料庫產品相比,在某種程度而言相當不公平。因此也面臨著以下幾個問題:
1. 資料庫研發對人才要求很高,要有很高很深的知識面和豐富的資料管理經驗,閉門造車和純理論派都很難造出市場真正需要的資料庫車輪子。人才的缺乏,是當前亟待解決的問題,這也意味著需要很高的投入。
2. 資料庫產品路線圖規劃:客戶往往關注操作友好性(使用者習慣延續性)、資料一致性、資料零丟失、高可用、叢集、災備、備份與恢復、資料匯出匯入以及資料遷移等資料庫運維常常涉及的主要環節。隨著網際網路和物聯網的廣泛使用,現在的企業資料與 20 年前相比,基本翻了幾十倍, TB 級資料已具有普遍性。對資料庫產品來說,多節點、雲原生、 K8s 容器化等要求逐漸成為主流趨勢,伴隨而來的就是資料路由等輔助產品的研發。目前大多數行業的核心業務市場還是集中在關係型資料庫上,不管是傳統的單機型關係型資料庫,還是最近崛起的分散式關係型資料庫、雲原生分散式關聯式資料庫、雲原生 HTAP 資料庫,資料庫產品經理都要在功能上達到平衡。資料庫產品的設計首先要保證能用,然後實現好用,如果能做到這一點,最起碼可以成功一半。
資料庫的技術門檻較高,但像MySQL 、 PostgreSQL 等開源資料庫,入門門檻相對較好,但是作為一名從業多年的 DBA ,想對新入行的同行說:資料庫往往是整個技術架構的單一核心,可用性要求非常高,內部機制繁雜,往往涉及到底層儲存、網路、作業系統以及多變的業務邏輯、海量資料處理、高效能的查詢響應、零資料丟失、災備等交叉影響。系統地學習資料庫的系統管理、效能優化和內部機制,是非常有助於自身的快速成長。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69979120/viewspace-2896676/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 徵文大賽 | 第一屆“GBase技術文章”有獎徵文常見問題解答
- 活動 | 第一屆“GBase技術文章”有獎徵文大賽活動公告
- 【有獎徵文】第一屆 OceanBase 技術徵文大賽來啦!
- 獲獎公佈!OceanBase 第一屆技術徵文大賽圓滿收官!
- 收官!OceanBase第五屆技術徵文大賽獲獎名單公佈!
- 專業的技術支援是如何煉成的
- 『徵文精選』技術翻譯與術語管理技術:專業人說專業話
- 掘金技術徵文活動釋出一週,十三篇優秀的徵文出爐 | 掘金技術徵文
- 專訪諾獎得主:大模型是記憶還是理解?大模型
- ReactiveCocoa 中 RACScheduler是如何封裝GCD的 | 掘金技術徵文React封裝GC
- 綠盟科技榮獲2019合肥市網路安全攻防演練大賽一等獎
- 綠盟科技榮獲2020“湖湘杯”網路安全應急演練大賽一等獎
- 鏈新:區塊鏈大賽火熱,成為技術與創意的練兵場區塊鏈
- 發獎了!Flutter 技術徵文中獎使用者和獎品發放Flutter
- 2018掘金春招求職徵文活動獎品發放 | 掘金技術徵文求職
- 2022 OceanBase 技術徵文大賽正式開啟 | 快來釋放你的原力
- 大學總結,技術與技術之外的事 | 掘金年度徵文
- 如何輕鬆拿到大廠面試offer | 掘金技術徵文面試
- DTCC專訪:南大通用GBase為金融行業資料庫提供更優選擇行業資料庫
- “CCF 科技成果獎”獲獎名單公佈,龍蜥榮獲技術發明一等獎
- 2022中國通訊學會科學技術獎揭曉:阿里雲獲技術發明獎一等獎與科技進步二等獎阿里
- 2018掘金秋招求職徵文活動獲獎名單公佈 | 掘金技術徵文求職
- 容器技術的未來——京東雲技術專訪
- 深圳國際金融科技大賽Ultipa嬴圖斬獲“人工智慧與大資料”賽道一等獎。人工智慧大資料
- 中手遊及《仙劍世界》獲2023金翎獎年度優秀遊戲評選大賽兩項大獎遊戲
- 榮譽 | 萬里資料庫榮獲“鼎信杯”信創大賽優秀技術支撐獎資料庫
- 第二期 OceanBase 技術徵文大賽來襲!快來釋放你的原力!
- 硬核!奇點雲一舉斬獲人工智慧程式設計大賽一等獎、三等獎人工智慧程式設計
- 聊聊技術面試 | 掘金技術徵文面試
- 【魅族大賽技術公開課】移動應用開發技術精選
- 這是一個轉型AI的勵志故事,從非科班到拿下競賽一等獎AI
- 雲知聲榮獲“2021年度廈門市科學技術進步獎一等獎”
- NEO技術文章徵集大賽
- 阿里雲周晶:我是如何選擇技術方向的?阿里
- 那些程式設計高手是如何練成的?程式設計
- 來自科技進步一等獎的肯定:騰訊破解萬億引數大模型訓練難題大模型
- 我的技術之路 | 掘金年度徵文
- 我的前端之路 | 掘金技術徵文前端