Netflix萬億級實時資料基礎設施的四個創新階段

banq發表於2022-03-04

徐振中於201 年加入 Netflix，擔任實時資料基礎架構團隊的創始工程師，後來領導了流處理引擎團隊。
他分享了他的團隊的主要成就：
  • 在 Netflix 的所有組織中將流資料用例從 0 增加到 2000 多個。
  • 構建和發展了成功的產品，例如Keystone、託管 Flink 平臺、Mantis和託管 Kafka 平臺。這些產品在資料生態系統的許多方面提供解決方案：包括資料攝取、移動、分析和操作處理以及機器學習用例。
  • 是業內率先擴充套件開源 Kafka 和 Flink 部署以在 2017 年左右每天處理 1 萬億個事件的公司之一，後來到 2021 年又擴充套件了 20 倍！

幾個月前，他離開了 Netflix，在實時 ML 領域追求類似但擴充套件的願景。我認為現在是總結我在 Netflix 構建實時資料基礎架構的經驗的最佳時機。我希望這篇文章能幫助平臺工程師開發他們的雲原生、自助式流資料平臺，並在許多業務功能中擴充套件用例。
點選標題見原文

相關文章