flink實戰--讀寫Hive(Flink on Hive)

阿華田512發表於2019-08-28

掃一掃加入大資料公眾號和技術交流群,瞭解更多大資料技術,還有免費資料等你哦

Flink on Hive 介紹

                          Apache Flink 從 1.9.0 版本開始增加了與 Hive 整合的功能,1.10.0版本進行了功能的豐富,使用者可以通過 Flink 來訪問 Hive 的後設資料,以及讀寫 Hive 中的表,Hive 是大資料領域最早出現的 SQL 引擎,發展至今有著豐富的功能和廣泛的使用者基礎。之後出現的 SQL 引擎,如 Spark SQL、Impala 等,都在一定程度上提供了與 Hive 整合的功能,從而方便使用者使用現有的資料倉儲、進行作業遷移等。

設計架構

與 Hive 整合主要包含了後設資料和實際表資料的訪問,因此我們會從這兩方面介紹一下該專案的架構。

1.後設資料

                      為了訪問外部系統的後設資料,Flink 提供了 ExternalCatalog 的概念。但是目前 ExternalCatalog 的定義非常不完整&#

相關文章