Drill官網文件翻譯四Drill的效能
(翻譯自apache drill 官網。)
Drill是從地基開始就奔向高效能和大資料集去設計的,下面列出來的是Drill能夠做到高效能的核心要點。
分散式的引擎
Drill提供了一個強大的分散式引擎來處理查詢。使用者可以從叢集的任何一個節點是提交查詢。你可以新增新的節點到叢集中,以為了支援更多使用者的更多資料,或是獲得更好的效能。
列式執行
通過使用一種純記憶體的分層的,列式的資料模型,Drill同時為列式儲存,列式執行都做了優化。當資料是儲存在列式儲存的檔案上時(比如像Parquet)Drill會避免去訪問那些查詢中根本不涉及到的列。Drill的執行層同樣可以直接對列式資料進行SQL查詢,而不需要做一個分行化的操作。列式儲存和直接列式執行,這兩個優化的元件顯示地降低了記憶體消耗,併為BI和分析型別的作業提供了更快的執行效率。
向量化
相比一次只處理一個表記錄中的一個值 ,Drill中的向量化允許CPU在向量上操作,也就是一批記錄上操作。一個記錄批次包含來自不同的記錄上的一組數值 。向量處理能夠做到非常高效的技術基礎,在於現在的晶片技術,這些晶片都攜帶了深度流水線化的CPU設計。讓所有管理都達到接近峰值的高效是不可能的,因為程式碼複雜度太高了。
執行時編譯
執行時編譯相比解釋執行提供了更快的執行。Drill為每一條查詢指令都生成了非常高效的指令。下圖展示了Drill的編譯和指令生成過程。
樂觀並且流水線的查詢執行
Drill 使用樂觀的執行模型來處理查詢,假定在小片的查詢中失敗是不太常見的。Drill不會浪費時間在建立邊界或是檢查點上,這樣就可以最小化恢復時間。在單條查詢失敗的時候,這條查詢就直接返回了。Drill執行使用一種所有任務一次性安排的流水線模型。查詢儘可能地在記憶體中執行以便能在流水線中完成作業,只有記憶體不足時才會持久化到磁碟。
相關文章
- influxdb官網文件翻譯UX
- spring官網線上學習文件翻譯Spring
- Hadoop - 實時查詢DrillHadoop
- Drill-on-YARN之原始碼解析Yarn原始碼
- Disk Drill資料恢復工具資料恢復
- Gremlin-官網介紹翻譯REM
- Hadoop官網翻譯之HDFS ArchitectureHadoop
- 【工利其器】工具使用之(四)systrace篇(1)官網翻譯
- 文件翻譯器怎麼用?如何翻譯Word文件?
- 實用的Word文件翻譯方法分享,讓Word文件快速翻譯
- MPAndroidChart文件翻譯Android
- Disk Drill Enterprise:MacOS平臺的資料恢復軟體Mac資料恢復
- Serilog文件翻譯系列(四) - 結構化資料
- Hadoop官網翻譯之HDFS Users GuideHadoopGUIIDE
- Gradle入門(翻譯自Graddle官網)Gradle
- ARP協議:網路世界的地址翻譯官協議
- 有ppt文件翻譯軟體嗎?如何翻譯整篇ppt文件
- 如何使用Disk Drill 3為macOS恢復丟失的資料?Mac
- 適用於macOS的Disk Drill更新了本地Apple Silicon Macs支援MacAPP
- Moya官方文件翻譯
- hadoop官網翻譯第一天Hadoop
- 怎麼翻譯整篇Excel文件?Excel文件翻譯一招搞定Excel
- 必備的資料恢復軟體:Disk Drill for Mac中文版資料恢復Mac
- Disk Drill Media Recovery for Mac(支援多種格式的資料恢復工具)Mac資料恢復
- 蘋果系列機資料恢復軟體:Disk Drill for Mac蘋果資料恢復Mac
- Disk Drill for Mac(資料恢復軟體)5.3.1313啟用版Mac資料恢復
- 怎麼把Excel文件翻譯成中文?Excel文件翻譯方法介紹Excel
- jepsen 官方文件的中文翻譯版本
- docker官方文件翻譯3Docker
- docker官方文件翻譯5Docker
- docker官方文件翻譯2Docker
- docker官方文件翻譯1Docker
- SnapKit 中文文件翻譯APK
- rabbitmq 官方文件翻譯-2MQ
- docker官方文件翻譯4Docker
- Draft 文件翻譯 - API - ContentStateRaftAPI
- TailWind文件翻譯說明以及每日翻譯進度AI
- oc-plugin-book 文件協作翻譯外掛(類似 LearnKu.com 的文件翻譯)Plugin
- 超好用的Mac資料恢復軟體:Disk Drill for Mac中文版Mac資料恢復