大資料技術 - Kyuubi

介紹

Kyuubi 是網易秉持開源理念的作品，也是網易第一款貢獻給 Apache 並進入孵化的開源專案。

主要應用於大資料領域，包括大資料離線計算、資料倉儲、Ad Hoc 等方向。

Kyuubi 是一個分散式、支援多使用者、相容 DBC 或 ODBC 的大資料處理服務，採用了 Apache Spark 作為計算引擎，帶來了良好的效能收益。未來也可能支援其他類似執行引擎，如 Apache Flink。

特點

1. 開源：社群中的其他公司或技術開發人員可以為 Kyuubi 帶來新穎的想法，促進其發展。

2. 多租戶：作為企業級服務，多租戶功能不可或缺，同時需要保證資料的安全性。

3. 相容 Hive JDBC：支援無縫遷移現有 Hive 使用者到 Kyuubi。

4. Spark 計算引擎：選用業界公認效能最好的大資料計算引擎。

5. 大規模資料處理能力：處理 GB 或 TB 級別的龐大資料量，同時支援併發查詢。

6. 開箱即用：務實、親民設計，追求最低成本和最JIA效果。

適用場景

• 需要進行大資料分析的環境，尤其是需要支援多使用者併發查詢的場景。

• 典型使用場景包括使用 JDBC/BeeLine 連線 Kyuubi 進行互動式資料分析，或使用 RESTful API 提交 SQL/Python/Scala/Jar 批作業

文章推薦

https://mp.weixin.qq.com/s/-AwXJz9CqEeX7cRdGGdyIg