flink實戰--讀寫Hive(Flink on Hive)
掃一掃加入大資料公眾號和技術交流群,瞭解更多大資料技術,還有免費資料等你哦
Flink on Hive 介紹
Apache Flink 從 1.9.0 版本開始增加了與 Hive 整合的功能,1.10.0版本進行了功能的豐富,使用者可以通過 Flink 來訪問 Hive 的後設資料,以及讀寫 Hive 中的表,Hive 是大資料領域最早出現的 SQL 引擎,發展至今有著豐富的功能和廣泛的使用者基礎。之後出現的 SQL 引擎,如 Spark SQL、Impala 等,都在一定程度上提供了與 Hive 整合的功能,從而方便使用者使用現有的資料倉儲、進行作業遷移等。
設計架構
與 Hive 整合主要包含了後設資料和實際表資料的訪問,因此我們會從這兩方面介紹一下該專案的架構。
1.後設資料
為了訪問外部系統的後設資料,Flink 提供了 ExternalCatalog 的概念。但是目前 ExternalCatalog 的定義非常不完整&#
相關文章
- Flink實戰之寫Hive效能問題Hive
- flink sql client讀取hive時卡住SQLclientHive
- Flink 1.16:Hive SQL 如何平遷到 Flink SQLHiveSQL
- Hive SQL on Flink 構建流批一體引擎HiveSQL
- Flink實戰
- Flink 1.9 實戰:使用 SQL 讀取 Kafka 並寫入 MySQLKafkaMySql
- 利用flink從kafka接收訊息,統計結果寫入mysql,訊息寫入hiveKafkaMySqlHive
- Flink CDC實戰
- Flink-Kafka-Connector Flink結合Kafka實戰Kafka
- Flink Native Kubernetes實戰
- Hadoop實戰:Hive操作使用HadoopHive
- 訊息推送平臺的實時數倉?!flink消費kafka訊息入到hiveKafkaHive
- 通過ES-Hadoop實現Hive讀寫Elasticsearch資料HadoopHiveElasticsearch
- hive編寫udf實踐記錄Hive
- Flink 1.10 Container 環境實戰AI
- Flink SQL Client綜合實戰SQLclient
- [Hive]Hive實現抽樣查詢Hive
- 《從0到1學習Flink》—— Flink 讀取 Kafka 資料批量寫入到 MySQLKafkaMySql
- [Flink/FlinkCDC] 實踐總結:Flink 1.12.6 升級 Flink 1.15.4
- Flink生成Parquet格式檔案實戰
- Flink的sink實戰之一:初探
- Flink的sink實戰之二:kafkaKafka
- 《Flink入門與實戰》簡介
- Flink實戰(102):配置(一)管理配置
- spark寫入hive資料SparkHive
- 重磅!解鎖Apache Flink讀寫Apache Hudi新姿勢Apache
- Hive原始碼閱讀之路Hive原始碼
- Hive Tutorial 閱讀記錄Hive
- Flink 實踐教程-入門(6):讀取 PG 資料寫入 ClickHouse
- Flink實戰:消費Wikipedia實時訊息
- Hive --------- hive 的優化Hive優化
- [Hive]Hive排序優化Hive排序優化
- Hadoop大資料實戰系列文章之HiveHadoop大資料Hive
- Flink實戰(八) - Streaming Connectors 程式設計程式設計
- Flink實戰(七) - Time & Windows程式設計Windows程式設計
- Flink的sink實戰之四:自定義
- Flink 實踐教程 - 入門(4):讀取 MySQL 資料寫入到 ESMySql
- 【Hive】hive資料遷移Hive