Apache Wayang ：跨平臺資料處理系統

banq發表於2022-03-18
Apache

Wayang 使使用者能夠在多個資料處理平臺上執行資料分析。為此，Wayang 在現有平臺之上提供了一個抽象，以便在任何平臺集之上執行資料分析任務。因此，使用者可以專注於其應用程式的邏輯，而不是底層平臺的複雜性。
Apache Wayang 是 5 年綜合研究的成果，已經發表了十幾篇論文，在正常情況下，Wayang 將比 Spark 快 30 倍，因為我們將不同的平臺和孤島組合到一個 AI 解決方案中。透過特殊調優，我們的效能比 Apache Flink 和 Apache Spark 提高了 50 倍。
Apache Wayang 瞭解 UDF 並針對底層處理平臺最佳化功能。在處理數量減少的資料點時，它還使用小型 JVM 例項來減少操作開銷。
 
與提供專用執行引擎的經典資料處理系統相比，Apache Wayang 是一個元處理框架：您可以透過 Apache Wayang 的 API 指定您的資料處理應用程式，然後 Apache Wayang 將選擇經典處理框架的最佳配置，例如 Java Streams 或 Apache Spark，以在其上執行您的應用程式。最後，Apache Wayang 也會執行執行，從而隱藏不同的特定平臺 API 並協調平臺間通訊。

Apache Wayang 使用 Java 8 和 Scala 2.11 構建。但是，要執行 Apache Wayang，安裝 Java 8 就足夠了。

點選標題

相關文章