使用Hadoop機架位置提升Vertica效能
當Vertica資料庫節點位於Hadoop資料節點( Data Node )上時,Vertica可以利用Hadoop機架配置對ORC和Parquet資料執行查詢。 查詢執行時越接近資料越可以減少網路延遲並提高效能。
Vertica會自動使用與HDFS資料節點位於同一位置的資料庫節點。 這個功能稱之為node locality,並不需要額外配置來開啟。
當Vertica僅位於HDFS節點的一個子集上時,有時候沒有與資料共存的資料庫節點。 但是,如果Vertica的查詢使用同一機架中的資料庫節點,則效能通常會更好。 此功能(8.1版中的新功能)稱為node locality。 使用機架位置,您可以通過每個機架僅一個Vertica節點來檢視效能改進,從而減少將Vertica新增到現有Hadoop叢集的工作。
可以考慮具有以下佈局的HDFS叢集:
(每個機架中的節點由本地網路連線,機架網路連線到公共網路,Vertica節點由專用網路連線。
HDFS也利用了node locality的優勢,因為叢集已經在拓撲對映檔案中描述了機架結構。 而且您可以使用它來配置Vertica。
以下是圖中所示的HDFS叢集拓撲對映檔案的摘錄:
您可以使用此資料為此叢集中的Vertica節點建立Fault Group描述。 Vertica使用此資訊將SQL查詢路由到最靠近資料的節點。
/rack1 /rack2 /rack3
/rack1 = db01
/rack2 = db02
/rack3 = db03
Rack locality通常與多層機架配合使用。 如果您的上海資料中心和北京資料中心中各有一組機架,則Vertica會自動感知該架構。
相關文章
- hadoop之 hadoop 機架感知Hadoop
- Hadoop安全模式和機架感知Hadoop模式
- 架構師提升篇:分散式系統中,如何提升系統效能?架構分散式
- [譯] 使用 PhpFastCache 提升網站效能PHPAST網站
- 使用 ASDK 效能調優 - 提升 iOS 介面的渲染效能iOS
- 使用Django annotation,提升django查詢效能Django
- 利用交換機提升無盤網路效能
- vertica建立新使用者並授權
- PerfDog賦能手機晶片行業,提升遊戲效能使用者體驗晶片行業遊戲
- 如何合理使用 CPU 管理策略,提升容器效能?
- 每瓦效能提升2.6倍、機架密度升3倍,Intel 3開山之作不簡單Intel
- vertica 中位數函式 MEDIAN 的使用函式
- vertica 資料庫資料庫
- vertica資料庫資料庫
- 前端快取機制提升網站效能 - Service Worker前端快取網站
- 系統效能提升利刃 | 快取技術使用快取
- 使用 HTTP/2 提升效能的7個建議HTTP
- 使用HTTP/2提升效能的7個建議HTTP
- 使用 HTTP/2 提升效能的 7 個建議HTTP
- 使用 preloadRouteComponents 提升 Nuxt 應用的效能UX
- javascript效能提升之路JavaScript
- .NET MAUI 效能提升UI
- Hadoop YARN 架構HadoopYarn架構
- vertica審計日誌
- 如何使用ABAP非同步RFC呼叫提升應用效能非同步
- SQL Server中使用Check約束達到提升效能SQLServer
- Shopify使用Memcached而不是Redis快取提升20%效能Redis快取
- Hadoop中檢視一個檔案位置資訊Hadoop
- 如何提升Web前端效能?Web前端
- Oracle效能提升策略 (轉)Oracle
- 人力節省 50%,研發效能提升 40%,阿里 Serverless 架構落地實踐阿里Server架構
- Hadoop-Yarn架構HadoopYarn架構
- Hadoop的架構模型Hadoop架構模型
- Hadoop(一)Hadoop核心架構與安裝Hadoop架構
- Sql最佳化(十六) 使用陣列技術提升效能SQL陣列
- 使用 C++ 的 StringBuilder 提升 4350% 的效能C++UI
- Javascript使用Buffer替代位元組陣列會提升效能JavaScript陣列
- JdonSD框架使用快取提升效能出具測試報告:框架快取測試報告