奈飛Netflix兩年資料工程經驗 - XInran

可見性
鑑於資料工程工作的性質，在許多公司，資料工程經常生活在資料科學的陰影之下。
因此，資料工程團隊的可見性往往是一個問題，直接影響到資料工程師計程車氣和生產力。
在Netflix，資料工程團隊被認為是資料組織中的一個重要支柱。
我一直在思考：是什麼造就了一個成功而健康的資料工程團隊？

以下是我從Netflix學到的東西：

1、資料工程團隊獨立於資料科學團隊。
組織結構很重要，非常重要。當你的資料工程師直接向資料科學經理報告時，資料工程師工作的優先順序將99%由資料科學需求驅動。其他長期受益的重要工作，如工具或基礎設施創新，往往會被取消優先順序。當你有獨立的資料工程團隊時，自然會有更多的背景分享和對共同資料挑戰的討論，因此有動力以可擴充套件的方式解決這些問題。

2、資料工程論壇
在Netflix，我們有許多論壇，在那裡我們分享和慶祝資料工程工作。舉辦這樣的論壇不僅提供了一個慶祝資料工程社群的平臺，而且還鼓勵團隊進行創新和採用最佳實踐。我承認並不是每個人都喜歡做演講，但演講仍然是提高你工作知名度的最佳方式之一。

3、夥伴關係
建立夥伴關係是建立一個健康和成功的資料工程團隊的關鍵。作為Netflix的資料工程師，你的合作伙伴包括PM、資料科學家、後端工程師和演算法研究員。資料工程師和他們的經理都有責任培養良好的夥伴關係。

與夥伴團隊建立界限和信任都很重要，以下是原因：

• 邊界意味著能夠對請求說不。它有助於避免資料工程師的倦怠。它還可以幫助專案管理人員更好地規劃專案，在承諾時間表之前首先了解資料工程師的頻寬。
• 缺乏信任總是會導致不好的結果。與合作伙伴建立信任會讓你的工作生活變得更加美好：互動減少了交易性，人們會更加理解並更樂於給予建設性的反饋。
• 在Netflix工作期間，當我的名字和我的團隊因我對專案的貢獻而被明確地叫出來時，我總是很感激。被人稱讚，成為更大的團隊努力的一部分，這種感覺很好。

真正的協作
在我以前的團隊中，"團隊合作 "意味著幾個人向同一個經理報告，每個人執行自己的任務。加入Netflix後，我瞭解到在一個資料工程團隊中是如何進行有意義的團隊合作的。

雖然每個團隊成員支援不同的子領域，但我們仍然每天積極地相互協作。

1、團隊會議
我們的團隊每週都會開會討論最重要的話題，例如，最近的一個待命問題以及我們如何在未來預防它，即將推出的產品功能會影響到許多資料管道，對早期系統設計的反饋，或跨領域共享的共同資料挑戰。每個季度，我們還利用團隊會議進行狀態更新和專案規劃。

2、深入的程式碼檢視
我們會問為什麼使用這個Iceberg事實表而不是另一個，這個Spark記憶體配置有什麼必要，或者質疑這個邏輯是否應該嵌入我們的資料集而不是在上游/下游，等等。我們的程式碼審查是一個在團隊中學習和分享知識的好方法，它真正顯示了我們奉獻了時間來幫助對方成功。(在我寫這一段的時候，我意識到我應該做更多的程式碼審查）。

3、幫助和請求幫助
我們大部分的團隊合作實際上都發生線上下。如果你在我們的團隊頻道中，你會經常看到這樣的對話。"我正在做XYZ的工作。有沒有人有關於ABC的背景？"，"這裡有一個正在進行的平臺問題，可能會影響到我們的系統......"，"團隊--我有一個家庭緊急情況，有人能幫忙代班嗎？"，"有什麼我可以幫助的XYZ嗎？"

一方面，團隊合作會產生巨大的成果。另一方面，參與各種團隊討論和程式碼檢視會導致不斷的上下文切換，會讓人感到疲憊。我有時會因為被太多的Slack執行緒提示而感到焦慮和壓力，不得不完全關閉Slack以獲得低頭時間。

資料工程師=X戰警
Netflix的資料工程師就像X-Men，因為每個人都有自己獨特的超能力（技能組合），對不同的惡棍（資料問題）有效。因為每個領域的資料問題都不同，每個團隊都建立了自己的面試小組，以便找到最合適的資料工程師來解決這些問題。
例如，財務報告所需的資料工程技能與個性化的資料工程技能有很大不同。此外，領導們授權並鼓勵資料工程師們用優勢發揮影響，而不是強迫每個人都擅長一切。

此外，我想分享一下我對Netflix文化的看法，以及它們是如何反映在資料工程團隊中的：

詳細點選標題