openGauss都做了哪些運算元最佳化工作?
openGauss在程式碼裡面實現了大量的運算元級最佳化工作,為了更進一步便於使用者理解,我們對這些工作進行了總結,並且對內部具體的一些演演算法進行詳細介紹,其總結如下。
【索引掃描運算元最佳化】
對索引掃描運算元進行了一定程度的重構與最佳化,以提升運算元效能。最佳化主要包括以下幾個方面:
1. 識別到程式中存在影響效能的噪點,對其進行遮蔽;
2. 在現有執行流程下,為多數場景下的高頻操作建立fast-path,以提高執行效率;
3. 對一些資料結構與演演算法的實現進行了最佳化重構,以提升效能。最終經過測試,IndexScan運算元效能提升10%,IndexOnlyScan運算元效能提升30%。
【函式依賴】
函式依賴,是多列統計資訊的一種,可以描述屬性之間的關聯關係,其主要用途是提高選擇率估算的準確性。在引用函式依賴特性之前,資料庫會使用條件獨立假設的方法來估算選擇率。舉一個生活中的例子,在一個班級中,男女生的比例是1:1,喜歡瑜伽的人數佔比為20%,身高175cm以下的人數佔比為50%。我們可以說喜歡瑜伽且身高在175cm以下的女生的佔比為50% * 20% * 50% = 5%嗎?顯然這個計算結果會比實際結果略低,因為這幾個屬性之間有關聯關係,喜歡瑜伽的人中女生佔多數,女生的身高較男生普遍偏低。函式依賴特性就是用於解決此類問題,在典型場景下對於高頻資料的查詢,選擇率提升20%;對於中頻資料的查詢,選擇率提升10倍;對於典型場景,選擇率提升70倍。
【AGG函式共享轉移狀態】
AGG函式的執行分為3個階段:初始化轉移狀態、執行transition函式、執行final函式。AGG函式共享轉移狀態特性目的在於調整轉移狀態和transition函式,實現資源共享。例如執行"SELECT avg(a), sum(a) FROM t;",此時的轉移狀態初始化後為兩個引數(total, count),然後遍歷表的所有元組,total執行累加操作,count執行自增操作,最後把total/count和total分別作為avg函式和sum函式的返回結果。經驗證,SQL語句"SELECT avg(a), sum(a) FROM t;"的總耗時縮短48%左右。對其他可以共享轉移狀態的AGG函式,也可以實現不同程度的效能提升。
【Parser最佳化】
最佳化Parser階段中關鍵字檢查模組,將關鍵字查詢演演算法由原來的二分查詢演演算法最佳化為雜湊查詢演演算法,同時最佳化關鍵字記憶體資料結構,cache訪問更友好,最佳化後Parser階段的效能提升10%。
【新型選擇率模型】
新型選擇率模型充分利用基於直方圖的統計資訊,平衡計算量與準確性,充分考慮資料分佈情況,透過輕量的計算,提高對低頻值的估算準確率,能夠使得最佳化器生成更優的執行計劃,進而提高查詢效率。
【通訊最佳化】
提升通訊整體效能,調整通訊邏輯,預設使用非阻塞通訊方式,當需要阻塞通訊語義時,利用latch輕量鎖機制,降低通訊階段耗時。輕量通訊方式的開啟與否透過POSTMASTER級別的GUC引數light_comm控制,當light_comm的值為ON / TRUE時,將開啟輕量通訊。
【表示式展平化】
基於非遞迴、操作碼方式實現資料庫中表示式計算,致力於透過展平化表示式資訊減少計算過程中堆疊使用、函式呼叫等開銷,提升語句的執行效能。
後續,openGauss還會持續對基礎運算元進行最佳化,不斷完善openGauss社群競爭力。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70023856/viewspace-2945391/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- openGauss核心分析(八):執行運算元探究
- 深度學習運算元最佳化-FFT深度學習FFT
- 使用 Auto-scheduling 最佳化運算元
- spark-運算元-分割槽運算元Spark
- 運算元
- 使用運算元控制公式運算公式
- Python 影像處理 OpenCV (12): Roberts 運算元、 Prewitt 運算元、 Sobel 運算元和 Laplacian 運算元邊緣檢測技術PythonOpenCV
- RDD運算元
- 如何做好企業IT運維工作?雲端計算運維的工作內容有哪些?運維
- 【Spark篇】---SparkStreaming中運算元中OutPutOperator類運算元Spark
- 新媒體運營都需要做哪些工作?新媒體運營基礎知識
- 運算元據庫
- python運算元據Python
- JavaScript運算元組JavaScript
- 上市程式再加快,圓心科技都做了哪些工作
- 基於Ascend C的FlashAttention運算元效能最佳化最佳實踐
- 【TVM 學習資料】用 Schedule 模板和 AutoTVM 最佳化運算元
- 運算元據庫表
- MySQL DML運算元據MySql
- jmeter運算元據庫JMeter
- DDL:運算元據庫
- onnx 運算元定義
- 什麼是運算元?
- Flink -- Operator操作運算元
- SIFT運算元總結
- Linux運維工作方向有哪些?Linux運維
- 新媒體運營涉及哪些“運營”工作?
- Spark常用Transformations運算元(一)SparkORM
- Python運算元據庫(3)Python
- Oracle OCP(10):運算元據Oracle
- sobel運算元,matlab實現Matlab
- 3.0 常見operators運算元
- 不清楚IT運維具體工作有哪些?運維工作方向大科普!運維
- Python加速運算——"-O最佳化"和CythonPython
- js 方法(運算元組為主JS
- 利用 Sequelize 來運算元據庫
- spark一些常用運算元Spark
- Ascend C 自定義PRelu運算元