近日，上海交通大學軟體學院副院長王肇國和高斯實驗室GaussDB資料庫最佳化器專家Ethan聯手開展了一場以《智慧最佳化揭秘——GaussDB資料庫查詢重寫的自動挖掘與生成》為主題的技術對談，深入探討了WeTune 2.0的重寫規則與GaussDB的合作落地。直播過程包含對WeTune 2.0的專案背景、WeTune改寫規則的自動發掘方式及實現、WeTune 2.0版本優勢、在GaussDB中的應用與技術轉化、未來前景等內容的解析與分享，一起傾聽他們產教融合背後的故事吧。以下是本訪談的文字記錄。
WeTune產品的專案背景
查詢改寫是資料庫SQL最佳化過程中非常重要的部分，在語義不變的情況下，它可以把一條普通的或者效能不好的SQL語句最佳化成一條效能更好的SQL語句，實現查詢效率的提升。改寫規則作為查詢改寫中最關鍵的一個元件，想要在資料庫裡面新增改寫規則，往往依賴於資料庫專家經驗的積累。如今，SQL語句的生成物件不再受限於程式設計師，外部框架和大模型也能夠自動生成，隨著生成源的增加，原來的SQL改寫規則不再適用。
由上海交通大學軟體學院副院長王肇國團隊開發出的WeTune剛好能解決這一問題，其核心思想就是自動發掘某些場景下的改寫規則。於是，華為雲資料庫GaussDB團隊與王肇國教授團隊深度合作，成功完成WeTune 2.0在GaussDB產品上的落地。
WeTune改寫規則的自動發掘方式
自動挖掘的前提是暴力列舉，列舉之後檢驗語義是否正確，透過等價性驗證去把最後一道關，所以，WeTune的等價性驗證能力決定了它能夠列舉哪些規則。下面是WeTune的改寫規則的自動發掘方式：
方式一，嘗試暴力列舉所有在語法上合法的改寫規則；
方式二，用形式化驗證的方式去驗證列舉的規則是否正確（輸入、輸出的SQL是否在語義上等價）；
方式三，借鑑資料庫cost estimation技術檢驗改寫規則是否有效，SQL最佳化效能是否更好。
在實際運用中，以上改寫規則的三種自動發掘方式也面臨著一些現實層面的挑戰。
暴力列舉雖然空間大，但開銷也大，導致很多算力浪費。不過，上海交通大學軟體學院副院長王肇國團隊透過開發的一種只列舉小規則的技術，用小規則去推大規則，解決算力浪費的問題。
等價性驗證。改寫規則等價性驗證，本質上就是SQL等價性驗證，把不可判定問題的驗證轉換成可滿足性等價、可判定問題的驗證。另外，SQL等價性本身是一個關係型代數，把它轉換成線性代數的求解。透過這兩個維度解決了現有的SQL等價性驗證問題，使得改寫規則的列舉能力和範圍大大提升。目前WeTune 2.0支援SQL:1999所有語法的驗證。
除了借鑑資料庫cost estimation技術來檢驗SQL最佳化效能是否更好以外，還會建立資料庫例項，將改寫規則在資料庫例項上執行，以保證SQL最佳化效果最佳。
有了這三方面的解決方案之後，2022年，上海交通大學軟體學院副院長王肇國團隊對WeTune 1.0版本進行了一個效能測試。他們從GitHub上透過對起始時間、受歡迎程度等維度進行篩選排序，找了涵蓋電商、論壇等不同應用場景的20個開源應用，並在這些應用上執行程式，共收集了大概8500多條SQL語句。結果顯示，WeTune 1.0最佳化的SQL語句大概674條，而其他商業資料庫只能最佳化427條。相較而言，WeTune 1.0 最佳化效果大幅領先。
WeTune改寫規則的自動挖掘實現
WeTune 2.0在SQL等價性驗證、列舉的能力和範圍、規則的表達上都進行了精心設計，對GaussDB使用體驗有極大提升。
第一，WeTune有驗證規則的能力。對於開發流程來講，驗證規則是很重要的一步。
第二，WeTune有自動發現規則的能力。重寫規則依賴人工、偏場景化會導致發現規則比較緩慢。WeTune可以幫助做最佳化，提高發現規則的效率。
第三，WeTune有自動列舉的能力。等價驗證加上自動列舉，自動挖掘一次能夠發現成千上萬條規則，相當於把查詢重寫整個模組開發流程做了一個加速。對於一個商業的資料庫來講， WeTune自動挖掘可以減少開發人員冗餘的規則新增，提高開發效率，降低人力成本。
第四，WeTune定義新的查詢重寫語言。WeTune應用在GaussDB資料庫裡，進行查詢重寫規則擴充的時候，其實定義了一種新的查詢重寫的語言。以前要寫很多行的程式碼，才能給一套規則注入到引擎裡面。現在不用寫程式碼，只需要兩三行的語言描述，透過規則驗證後，直接放在資料庫引擎裡面，完成一個規則的實現。對開發者來說，體驗非常好，對驗證流程和開發流程幫助極大。
WeTune 2.0版本優勢
相比WeTune 1.0版本，WeTune 2.0版本有幾個比較大的優勢：
第一，增強的WeTune列舉能力，包括列舉的速度和列舉更多的複雜規則；
第二，增強的WeTune驗證能力，可以支援更多的SQL特性；
第三，可以讓使用者可讀、可載入、甚至可以直接使用手寫。
對比現有基於程式碼的查詢引擎，WeTune 2.0不需要程式碼、不需要編譯、不需要去釋出版本，客戶自己可以寫改寫規則，寫完之後，透過GaussDB提早準備的介面，直接放到資料庫裡面就可以即時生效。GaussDB可以為使用者提前預留好很多重寫規則，後續如發現重寫規則不夠用，可自行增加，非常方便。
第四，改寫規則可在客戶端實現部署。WeTune目前主要部署在雲端，後面改寫規則也可以部署在客戶端，進行自動載入，實現不同使用者間互不干擾。
WeTune 2.0在華為雲GaussDB的落地
WeTune和現有資料庫應用落地過程中，不同的架構會面臨不同挑戰。WeTune 2.0在華為雲GaussDB的落地，從技術角度來講，GaussDB資料庫是System-R架構，它的重寫規則是耦合在程式碼裡面，增加或解除安裝一個規則需要改寫查詢引擎。把WeTune應用在System-R架構上面涉及到理論、技術、工程層面的一些問題。
不過，上海交通大學和華為的積極交流和深入探討，也為彼此提供了不同的視角。
在資料庫開發過程中，改寫規則非常依賴人工經驗。隨著客戶場景越來越多，很多規則已經超出了現有的承載能力。從產品開發流程層面上講，想要在GaussDB裡面新增一個新的重寫規則，論證重寫規則是否等價是非常困難的。但是有了WeTune以後，開發者只要按照形式化語言去描述重寫規則，然後WeTune拿去做驗證，證明該規則在約束下是等價的，就可以放心地將該重寫規則新增到GaussDB中，節約驗證時間，對GaussDB的開發等流程非常有幫助。
WeTune從框架上去解決了這兩個重寫規則是否等價的問題，這是WeTune非常突出的貢獻點。對於客戶來說，在使用GaussDB進行SQL最佳化時，只管放心用，最佳化交給GaussDB；對於開發者來說，只需要關心SQL語義，效能交給GaussDB。
GaussDB引入WeTune2.0以後，自然會產生非常多的規則，幫助使用者最佳化SQL的同時，也引入了另外一個成本，即會產生了SQL最佳化代價。
如何解決引入大量規則之後，產生的效能問題？
從客戶角度來講，很多業務其實是相對比較固定的，而且上線之前也提前會做系統測試。若系統裡面SQL最佳化度很高，那麼就不必改寫規則和暴力列舉，這樣就可以降低最佳化成本。
在實際環境中，大家希望資料庫有成千上萬條的改寫規則可以給使用者去用，可以生成改寫的SQL語句。但是，改寫規則非常多的時候，會導致改寫和規則匹配的時間非常長，導致資源的極大浪費，也會影響使用者體驗。那如何在效能上做加速呢？
目前來講，主要透過兩方面來去解決：
一方面是從通用的匹配演算法入手。當改寫規則非常多的時候，匹配演算法能夠幫助效能有數量級的提升；
另一方面，從應用的場景或從SQL產生的源頭來進行分類。不同應用場景下、不同業務目的、不同的框架需要的改寫規則不一樣，WeTune 2.0可以對於不同場景和需求來去做定製化的規則探索。
WeTune在資料庫產業的價值及未來前景
WeTune是多個技術合起來形成了一個規則挖掘。從學術角度來講，SQL等價性驗證可以往資料庫測試這個方向再邁一步。
在資料庫測試過程中，對於SQL的最佳化引擎，可以使用差分測試。差分測試是一種很經典的資料庫測試方式，驗證重寫規則可以使用，驗證SQL最佳化引擎過程中也適用。WeTune等價性驗證器可以去列舉語義等價但形式完全不同的兩條SQL，這樣可以確保在測試對比過程中，程式執行是不一樣的路徑，可以更高效或覆蓋面更廣地完成資料庫引擎的測試任務。
WeTune不僅減輕了資料庫開發者或者DBA的負擔，目前在教育領域裡有一定的應用，WeTune等價性驗證幫助國內外很多高校助教批改學生的資料庫作業，減輕資料庫教育工作者的工作壓力。
華為與高校的深度合作將持續推進，融合雙方的技術優勢和科研力量，共同探索資料庫領域的前沿技術，培養更多高水平的資料庫人才。未來，華為和上海交通大學研究團隊將攜手，共同突破資料庫查詢重寫技術的瓶頸，透過持續的創新和最佳化，進一步提升GaussDB的查詢效能和效率。我們期待更多的技術合作和探索，推動資料庫技術向智慧化、自動化方向發展，為廣大企業和使用者帶來更多價值。
點選關注，第一時間瞭解華為雲新鮮技術~