Apache Flink 1.6.0 正式釋出,涵蓋多項重要更新

趙鈺瑩發表於2018-08-10

為期兩個月開發的 Apache Flink 1.6.0 於昨天(2018-08-09)正式釋出了。Flink 社群艱難地解決了 360 個 issues,到這裡檢視完整版的 changelog 。Flink 1.6.0 是 1.x.y 版本系列上的第七個版本,1.x.y 中所有使用 @Public 標註的 API 都是相容的。此版本繼續使 Flink 使用者能夠無縫地執行快速資料處理並輕鬆構建資料驅動和資料密集型應用程式。

Apache Flink 1.6.0 重要更新主要包含以下幾點:

  • Flink 的狀態支援是使 Flink 在實現各種用例方面如此通用和強大的關鍵特性之一。為了使其更加容易使用,社群為其新增了 TTL 的原生支援(FLINK-9510, FLINK-9938),此功能允許在狀態過期之後能夠清理狀態。在 Flink 1.6.0 中,定時器狀態現在可以脫離出系統,而直接將其存放在 RocksDB 中(FLINK-9485)。最後,定時器的刪除也得到顯著提升(FLINK-9423)。

  • 在 Flink 1.5.0 中,我們重新設計了 Flink 分散式架構,以增加對資源彈性和不同部署方案的支援,同時容器的整合得到進一步的提升。而在 Flink 1.6.0 中,對這裡面一些沒完成的進行了完善:所有的外部通訊(包括作業提交)現在都是基於 HTTP/REST 的(FLINK-9280),這大大簡化了容器(container)的設定(FLINK-9280)。Flink 1.6.0 還引入了容器入口點(container entrypoint),可以輕鬆引導容器化作業叢集(FLINK-9488)。

  • 流式 SQL 是最具有潛力的功能之一,因為它使 Flink 更易於訪問。在 Apache Flink 1.6.0 中,社群進一步改進了 SQL CLI(FLINK-8863),使得針對大量資料來源執行流式處理和批處理查詢變得輕而易舉(FLINK-8861)。此外,完整的 Avro 支援可以無縫地讀取任何 Avro 資料(FLINK-9444)。最後,社群強化了 Flink 的 CEP 庫(FLINK-9418)。

  • 在最新的 Flink 版本中,我們新增了一個新的 StreamingFileSink(FLINK-9750),它將 BucketingSink 作為標準檔案接收器。同時增加了對 ElasticSearch 6.x 的支援(FLINK-7386),並對 AvroDeserializationSchemas 做了修改,使得我們更加容易地攝取 Avro 資料(FLINK-9338)。

其他新功能以及提升

  • 支援狀態 TTL (FLINK-9510, FLINK-9938)

  • 基於 RocksDB 的可擴充套件計時器(FLINK-9485)

  • 更快刪除定時器(FLINK-9423),顯著提升定時器的刪除。

  • 新增了作業叢集容器入口點(FLINK-9488):Flink 1.6.0 還引入了容器入口點(container entrypoint),可以輕鬆引導容器化作業叢集(FLINK-9488)。

  • Fully RESTified Job Submission(FLINK-9280)

  • SQL 客戶端 CLI 支援使用者定義函式(FLINK-8863)

  • SQL 客戶端 CLI 支援批處理查詢(FLINK-8861)

  • SQL 客戶端 CLI 支援 INSERT INTO 語句(FLINK-8858)

  • 統一表接收器(Table Sinks)和格式(FLINK-8866,FLINK-8558)

  • 新的 Kafka Table Sink(FLINK-9846)

  • Full SQL Avro Support (FLINK-9444)

  • 提高了 SQL 和 Table API 的表達能力(FLINK-5878, FLINK-8688, FLINK-6810)

更詳細的說明請參見 Apache Flink 1.6.0 Release Announcement。


【本文轉載自 Hadoop技術博文微信公眾號,原文連結:https://mp.weixin.qq.com/s/n_K9JvJPjiH1HKlf8vywIA

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31077337/viewspace-2199819/,如需轉載,請註明出處,否則將追究法律責任。

相關文章