計算中介軟體 Apache Linkis 成為 Apache 重要專案

Apache 軟體基金會(ASF)孵化器於2022年12月03日，透過了 Apache Linkis 計算中介軟體專案的孵化畢業投票。2023年01月18日，Apache 軟體基金會官方宣佈 Apache Linkis 順利畢業，成為 Apache 重要專案(TLP)。

以上截圖來自 Apache 官網

原文連結：

一、關於 Apache Linkis

Apache Linkis 計算中介軟體專案，是由微眾銀行大資料平臺團隊在2019年7月進行開源，並於2021年8月正式捐獻給全球重要開源社群 Apache 軟體基金會(ASF)，成為 ASF 孵化專案，在2022年12月03日透過孵化畢業投票。

Apache Linkis 在上層應用程式和底層引擎之間構建了一層計算中介軟體。透過使用 Linkis 提供的 REST/JDBC/Shell 等標準介面，上層應用可以方便地連線訪問 MySQL/Spark/Hive/Trino/Flink 等底層引擎，同時實現變數、指令碼、函式和資原始檔等使用者資源的跨上層應用互通，以及透過 REST 標準介面提供了資料來源管理和資料來源對應的後設資料查詢服務。作為計算中介軟體，Linkis 提供了強大的連通、複用、編排、擴充套件和治理管控能力。透過計算中介軟體將應用層和引擎層解耦，簡化了複雜的網路呼叫關係，降低了整體複雜度，同時節約了整體開發和維護成本。

自開源以來，開源社群群使用者總數超 7600人，沙箱累計試用公司超 2600家，收到超過 110家企業已投入生產的反饋，生產環境支撐的資料量超 400PB，生產服務的使用者超 5000人，涉及金融、電信、製造、網際網路等多個行業。許多公司已經用 Linkis 來解決大資料平臺連通、擴充套件、管控、編排等計算治理問題。

在一年多的孵化期間，Apache Linkis 由社群開發者主導釋出了7個 Apache 版本，平均約兩個月就會釋出一個版本;新加入了4個 PPMC成員 和13個 Committers，來自不同的公司和團隊，貢獻人數達到127人。Apache Linkis 社群各項指標發展良好，專案已經趨於成熟， Apache Linkis 順利透過 ASF 孵化器專案管理委員會的畢業評估和投票，並得到ASF董事會批准，畢業晉升為 Apache 基金會重要專案。

二、Apache Linkis 的核心功能點以及 Roadmap

透過使用 Linkis，上層應用工具如批次系統可以把 Linkis 作為統一的閘道器或者 JobServer 來提交批次任務;資料分析工具可以利用 Linkis 的互動式任務的能力實時獲取日誌、結果集、進度資訊等能力。整合了 Linkis 的工具可以做到互聯互通，在不同的工具中可以使用同一個定義的 UDF、資料來源、物料等。

接入了 Linkis 的上層應用工具都可以擁有以下核心功能特性：

豐富的底層計算儲存引擎支援：Spark、Hive、Flink、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel 和 Shell 等;

豐富的語言支援：SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON 和 JAVA 等;

強大的計算治理能力：能夠提供基於多級標籤的任務路由、負載均衡、多租戶、流量控制、資源控制等能力;

全棧計算儲存引擎架構支援：能夠接收、執行和管理針對各種計算儲存引擎的任務和請求，包括離線批次任務、互動式查詢任務、實時流式任務和資料湖任務;

統一上下文服務：支援跨使用者、系統、計算引擎去關聯管理使用者和系統的資原始檔(JAR、ZIP、Properties 等)，結果集、引數變數、函式、UDF 等，一處設定，處處自動引用;

統一物料：提供了系統和使用者級物料管理，可分享和流轉，跨使用者、跨系統共享物料;

統一資料來源管理：提供了 Hive、ElasticSearch、Mysql、Kafka、MongoDB 等型別資料來源資訊的增刪查改、版本控制、連線測試和對應資料來源的後設資料資訊查詢能力;

錯誤碼能力：提供了任務常見錯誤的錯誤碼和解決方案，方便使用者自助定位問題;

從孵化器畢業也證明了 Linkis 專案和社群進一步走向成熟，但是要成為一個世界計算中介軟體專案還有很多的事情要做。Linkis 社群整理了一份 Roadmap ，歡迎大家參與一起貢獻。部分重大特性如下：

三、Apache Linkis 生態

Linkis 作為計算中介軟體，也積極推動與多個開源社群的專案進行整合，以豐富 Linkis 的生態。下圖是部分已經與 Linkis 整合的開源專案，涵蓋了資料分析、工作流、資料交換、資料質量、機器學習、以及常用的計算和儲存引擎等。上層應用工具透過 Linkis 提交和管理各類引擎的任務，把 Linkis 當成了一個開發基座。極大地降低了上層應用工具在連通、擴充套件、管控等計算治理方面的開發工作量，讓上層應用工具只需專注於其自身的功能性需求。

未來我們也將進一步引導和推動更多的上層工具系統和底層引擎，去與 Linkis 對接整合，豐富 Linkis 的生態。歡迎越來越多的專案參與其中。