作為基礎軟體皇冠上的明珠,資料庫技術一直以來都是開發者關注的焦點。這關注度是如此之高,幾乎自然打通了學界和產業界的隔閡,以至於關於資料庫技術的每一篇重要論文面世,都可能導致一批價值數十億美金的公司出現。
而在最近幾年,縱觀整個資料庫產業,雲資料庫逐漸成為焦點中的焦點。據 Gartner, Inc 稱,到 2022 年,所有資料庫中有 75% 將部署或遷移到雲平臺,只有 5% 曾考慮返回到本地。而 IDC 認為,到 2025 年,全球超過 50% 的資料庫將部署在公有云上;在中國市場,這個資料更為誇張,達到了 70% 以上。
那麼問題來了,如果雲資料庫,或者叫雲原生資料庫,是確鑿無疑的下一個風口。那麼其當下主要的技術和發展方向是什麼?我們該如何看待雲原生資料庫的發展趨勢?亞馬遜雲科技在 2020 年釋出的 Babelfish 或許能夠帶給我們一些啟發。
Babelfish,一個被人低估的重磅釋出
Babelfish 在 2020 年的 re:Invent 上釋出,由亞馬遜雲科技 CEO Andy Jassy 宣佈。
簡單來說,Babelfish 是雲資料庫 Amazon Aurora PostgreSQL 的一個外掛,它讓 Aurora 能夠相容 Microsoft SQL Server 編寫的應用程式。
Babelfish 剛剛釋出,Youtube 上就有許多工程師製作視訊表達了不理解。因為自打雲資料庫出現,相關遷移服務就在產業內隨處可見,幾乎每一家公有云企業,都能提供相關遷移服務,只不過大部分是針對 Oracle 的。有一家叫做 Enterprise DB 的美國,專門提供從 Oracle 到 PostgreSQL 的遷移服務。相關代理層、SQL 語言轉換工具更是層出不窮。
事實上,亞馬遜雲科技自己就有相關的遷移服務,比如 Amazon Schema Convertion Tool 做架構遷移,Amazon Database Migration Service 做儲存遷移。
那麼,Babelfish 存在的意義是什麼呢?多加一層代理增加後端處理成本嗎?
實際上,只遷移架構和儲存是不完整的,構建在資料庫之上的應用還沒有完成遷移。以 Babelfish 服務的場景來說,基於 Microsoft SQL Server 構建的應用使用 T-SQL 與資料庫互動,這與 PostgreSQL 完全是兩碼事。如果你想將應用也同步遷移,除非把這部分重寫一遍。
這也讓資料庫遷移成為了業內非常少見的動作,不是大家不想(畢竟誰也沒法保證最初的架構選型永遠正確),但成本實在是太高。
這種遷移成本,我們可以通過一套比較通用的遷移方案來感受下:
比起這種沉重的遷移,如果資料庫天生相容,是不是方便太多了?這也是 Babelfish 存在最主要的意義。
而許多人,會低估 Babelfish ,可能也是因為只看見了其商業層面的意義,而沒有注意到其技術層面的難度。
Oracle 和 PostgreSQL,許多特性相同,轉換尚且困難;切換到 T-SQL 和 PostgreSQL 就更加複雜了。資料庫的同步轉換要注意許多異常複雜的細節問題,包括查詢語言的轉換,儲存過程的轉換,靜態遊標的轉換,觸發器的轉換,等等。
亞馬遜雲科技 的 Sébastien Stormacq 曾在釋出的部落格中指出,在 T-SQL 中,MONEY 型別具有四位小數精度, PostgreSQL 則只有兩位小數精度,這種細微的差異可能會導致四捨五入錯誤,並對下游流程(例如財務報告)產生重大影響。
他說:“在這種情況下,Babelfish 會確保保留了 SQL Server 資料型別的語義和 T-SQL 功能:我們建立了一個 MONEY 資料型別,使其行為與 SQL Server 應用程式預期的一樣。”
Babelfish 的方案是用 hooks(鉤子)方法在 PostgreSQL 內建引擎中實現,將自己暴露為不同的資料庫(否則就只能修改 PostgreSQL 許多核心區域的程式碼),其架構圖如下:
精妙之處在於,通過資料庫核心部分執行器層面的擴充套件開發,Babelfish 實現了 T-SQL 與 pgSQL 之間的互相呼叫。也就是說,新寫 PostgreSQL 程式碼可以呼叫之前應用寫的 SQL Server 程式碼。對於寫過儲存過程的朋友們來說,這個功能已經和 Babelfish 的名字一樣,帶上“科幻”色彩了。即便已經使用了最硬核的實現方式, Babelfish 也沒有完全實現相容,ADD SIGNATURE 等一些功能、語法還沒有實現。亞馬遜官方工程師說:“SQL Server 已經發展了 30 多年,我們不希望立即支援所有功能。相反,我們專注於最常見的 T-SQL 命令並返回正確的響應或錯誤訊息。”
這也恰恰說明了類似遷移加速器的開發難度,也證實了為什麼開源路線才是最適合 Babelfish 發展的,因為開源可以讓足夠多的開發者參與到產品迭代中來。
同理,一個如此高難度的開發專案,也不太可能是無足輕重的。相反,它可能是亞馬遜雲科技 2020 年最重要的釋出之一。
資料庫碎片化時代,真的來了?
亞馬遜在雲端計算領域的釋出,曾多次引導了整個產業的發展方向。比如,2012 年釋出的 Amazon Redshift 引導了雲原生數倉的發展方向,2014 年釋出的 Amazon Lambda 引導了 Serverless 的發展方向(Gartner 到 2019 年才確認 Serverless 為未來趨勢),Amazon Aurora 本身也是雲原生資料庫的先驅產品。
如果說,Babelfish 也代表了一種方向,那麼或許是,資料庫碎片化的時代,真的來了。
資料庫這個產品本身因為開發難度太高,長期以來都被少數幾家公司把控著,其中的佼佼者 Oracle 更是以極快的速度提升著商業資料庫的開發門檻。
但資料庫“單極”化發展後導致的價格高、繫結風險高等問題,也讓眾多企業逐漸難以忍受。當下,各種型別的資料庫層出不窮,關係型、鍵值、時序、圖形……讓人難以抉擇。另外一個重要的現象是,大部分雲原生資料庫都是基於 PostgreSQL 研發而來,但後續的許多研發力量卻沒有投入到高效能、高可擴充性等傳統技術概念本身。
資料庫相容,這一開發難度高,與效能無關的特性,卻成為了亞馬遜雲科技的研發重點。某種意義上也說明,遍地開花的各型別資料庫還將長期存在於產業內。人們習慣認為,產業的長期發展趨勢是從單一走向多元,最終經過市場篩選,迴歸單一。但這次,“單極”時代可能真的一去不復返了。
此外,在 2020 Gartner 的魔力象限報告裡,雲資料庫領域有數家佔領導位置的企業,亞馬遜、微軟、Google 位居前三位。
而就在 2019 年,前三名還是微軟、Oracle、亞馬遜。老大老三打著打著,老二沒了……
如今,有 Babelfish 加持的 Amazon Aurora ,相容了 Microsoft SQL Server ,恐怕受傷的還是 Oracle。雲資料庫之間的牆壁在倒塌,而傳統商業型資料庫的競爭難度在進一步加大。
而乘上碎片化時代東風,釋出了 Babelfish 的 Amazon ,也順理成章的成為了雲資料庫市場新的領頭羊。
寫在最後
資料庫行業遠未走到終局,也不會有所謂的終局。但云原生資料庫可以獲得的優勢並不僅限於資料庫本身,比如 Amazon Aurora Serverless 提供的彈性伸縮服務,Amazon Aurora Global Database 提升了資料全球同步能力與業務連續性,Amazon DevOps Guru 將機器學習引入了應用管理。這是“合力”,將資料庫在雲上的體驗拉伸到了全新的維度。
在雲資料庫領域,這種“合力”將主導接下來的市場格局。
11 月 30 日,2021 re:Invent 又將到來,Adam Selipsky 將首次以亞馬遜雲科技新任 CEO 的身份亮相。相信雲資料庫市場的趨勢動向,也將隨之更加清晰。