2022年資料工程領域哪些專案會崛起？

banq發表於2022-01-05

2022年會崛起的專案有：
  • DBT：使用 dbt，資料團隊直接在倉庫內工作，為報告、ML 建模和操作工作流生成可信資料集。dbt 幫助資料團隊像軟體工程師一樣工作——更快地傳送可信資料。
  • AirbyteHQ：Airbyte 是一個開源 EL(T) 平臺，可幫助您在倉庫、湖泊和資料庫中複製資料。將資料從應用程式、API 和資料庫同步到倉庫、湖泊和其他目的地的新開源標準。
  • OpenMetadata：具有集中後設資料儲存、發現、協作和正確獲取資料的後設資料開放標準。
  • Debezium：發件箱模式

未來會下降的是：
  • airflow：資料目錄（包括透過開放後設資料便攜/商品化標準），難以使用，沒有跟上競爭對手的創新（例如 prefect），會被直接構建在頂部的工具（例如 astro）所取代，原因可能是關於 orch（vis-a-vis dagster）和大塊的過時的思考方式。

相關文章