Apache Impala 架構
Impala 是一個大規模並行查詢引擎,可在現有 Hadoop 叢集中的數百臺伺服器上執行。與查詢處理和底層儲存引擎緊密耦合的標準關聯式資料庫管理系統不同,它與後者分離。
Impala 提高了 Apache Hadoop上 SQL 查詢的效率,同時保持了熟悉的使用者介面。Impala 允許您使用 SELECT、JOIN 和聚合函式實時查詢資料,無論是儲存在 HDFS 還是 Apache HBase 中。
Impala 還共享 Apache Hive 的後設資料、SQL 語法 (Hive SQL)、ODBC 驅動程式和使用者介面 (Hue Beeswax),使其成為用於批處理和實時查詢的熟悉且連貫的平臺。(因此,Hive 使用者可以用最少的設定時間使用 Impala。)
Impala 部署中有三個服務:
- Impala 守護程式( impalad) 服務負責接收客戶端查詢和管理它們在叢集中的執行,以及代表其他 Impala 守護程式執行單個查詢片段。當 Impala 守護程式以第一個角色管理查詢執行時,它被稱為查詢的協調者。另一方面,所有 Impala 守護程式都是對稱的,它們可以扮演任何角色。此屬性有助於負載平衡和容錯。叢集中每個執行資料節點程式的系統——底層 HDFS 部署的塊伺服器——都有一個 Impala 守護程式,因此每臺機器上通常有一個 Impala 守護程式。Impala 現在可以利用資料區域性性並從檔案系統讀取塊,而無需連線到網路。Impala 的後設資料釋出-訂閱服務Statestore(statestored)將叢集範圍的後設資料分發到所有 Impala 程式。
- Impala 的目錄儲存庫和後設資料訪問閘道器是Catalog 守護程式(catalogd)。Impala 守護程式可以使用 catalogd 將 DDL 命令傳送到外部目錄儲存,例如 Hive Metastore。statestore 用於將更改分發到系統目錄。
- 查詢處理介面:與 Impala 通訊的介面是 Hive Metastore、JDBC/ODBC 客戶端、Impala-shell 和 Hue Web 使用者介面。
相關文章
- .NET 雲原生架構師訓練營(許可權系統 RGCA 架構設計)--學習筆記
- AI遇上農業會怎樣?最新UNT《智慧農業》2022全面綜述農業4.0發展的架構、技術、應用等
- 微服務架構 | 12.1 使用 Apache Dubbo 實現遠端通訊
- 虛擬化架構與Centos7系統部署
- 通過CVE-2021-43297漏洞在Apache Dubbo<=2.7.13下實現RCE
- 微服務架構 | 2.2 Alibaba Nacos 的統一配置管理
- 如何在敏捷中交付可靠的架構?
- 如虎添翼,低程式碼平臺中的微服務架構
- 軟體架構師需要具備的技能 - Abeysinghe
- 面向未來,我們來聊一聊什麼是現代化資料架構
- Apache PLC4X 作者 “喊話”:將停止提供任何免費支援 | 呼籲企業使用者為開源付費
- 技術部如何做覆盤——“年終盤點一對一”之前端架構師
- 微服務架構 | *2.3 Spring Cloud 啟動及載入配置檔案原始碼分析(以 Nacos 為例)
- 垂釣文旅專案 SaaS系統整體架構