Facebook運維內幕曝光:一人管理2萬臺伺服器

iteye發表於2013-11-23

  目前,Facebook 已經憑藉它在網路基礎建設上的可擴充套件能力成為了行業的領軍者。Facebook 資料中心運維主管 Delfina Eberly(下圖人物) 在“7x24 Exchange 2013 秋季會議”上的演講中為我們透露了 Facebook 部分內部運維資料,下面我們來具體瞭解下。

Facebook運維內幕曝光:一人管理2萬臺伺服器

Facebook 資料中心運維主管 Delfina Eberly

  伺服器數量驚人,一人管理 2 萬臺

  Facebook 伺服器數量驚人,其硬體方面的工作重點主要放在“可服務性”上,內容也涉及伺服器的初期設計,一系列工作的目標就是為了保證資料機房的裝置維修最簡單、最省時。她介紹說,每個 Facebook 資料中心的運維工作人員管理了至少 20,000 臺伺服器,其中部分員工會管理數量高達 26,000 多個的系統。

  近期 Facebook 的伺服器與管理人數比又創下了新高,目前已經超過 10000:1,可以檢視文章高擴充套件性對此進行更加詳細的瞭解。

  大資料洶湧,運維工作不輕鬆

  在 Facebook 資料中心做運維工作並不輕鬆,對工作人員的能力要求很高。他們每天面對的是海量資料。

  據統計,Facebook 目前擁有 11.5 億使用者,日常登入使用者約 7.2 億。每天 Facebook 使用者分享的內容達到 47.5 億條,“贊”按鈕點選次數近 45 億次。Facebook 目前儲存了 2400 億張照片,每月照片儲存容量約增加 7 PB(注,單位換算:1PB=1024TB)。

  自動故障診斷系統:原為留住人才

  為了管理運維工作,Facebook 已經開發了相應軟體來自動化處理日常運維任務,如 CYBORG 可自動檢測伺服器問題並進行修復。如果 CYBORG 無法自動修復檢查出的問題,系統將自動給訂單系統傳送警告,並分派給資料中心工作人員,以對相應問題進行詳細追蹤與分析。

  Eberly 提到,自動化工作的目標是儘量避免將技術人員派往現場解決問題,除非必須對伺服器進行現場處理。強調自動化不是因為 Facebook 對打造無人資料中心感興趣,原因在於 Facebook 重視自己的員工。

  Eberly 解釋說:我們要留住人才,因為大家更喜歡高水平的任務,公司希望讓他們留下來與我們一起進步成長,這對 Facebook 來說至關重要。

  “可服務性”主導伺服器設計:節時 54%

  在 Facebook,運維團隊的時間與工作量是根據 Facebook 硬體設計來安排的。比方說,全部伺服器從頭開始就堅持“可服務性”這一原則來進行設計,那麼資料中心的工作人員就沒有必要老鑽機房了;伺服器被設計成無需工具就可以對磁碟和元件進行替換。這樣做的結果就是:Facebook 用來修理伺服器的時間減少了 54%。

  Eberly 介紹說,Facebook 運維團隊會仔細跟蹤裝置故障率,這一資料會為公司的採購提供參考。公司的財產管理和訂單系統用序列號來跟蹤硬碟和其他元件,這方便完整了解每個硬體的生命週期。

  Eberly 還提到,雖然這些系統很複雜,但並不需要太多開發者。Facebook 的運維團隊僅有 3 名軟體工程師,但他們對資料中心的工作來講至關重要。

  最後

  從 Eberly 的介紹中,我們可以看到 Facebook 在可擴充套件性網路建設上的實力。同時,這也為行業提供了一些可參考的經驗,如:開發自動故障系統,根據“可服務性”設計基礎架構。同時,運維也是一個系統工程,需要得到其他部門的配合支援才行。

  Via Datacenterknowledge

相關文章