分散式高可用 id 伺服器設計實現

發表於2016-01-07

服務端/後臺開發中如何生成id是每個開發者都會遇到的問題,在電商、遊戲領域尤其突出。如何保證生成id的唯一性、可靠性、高可用性,如何組織id的格式,在不同的應用場景和限制下實現方式也不盡相同。

我們的應用場景類似電商,在一個訂單的生命週期內,有多個邏輯需要生成各自的id,還要考慮到可讀性和靈活性,我們決定實現一個獨立的id服務。

首先,id服務必須具有高可用性,業務邏輯處理中建立id失敗是不可接受的,所以id服務必須分散式部署,有多個節點同時對外服務,一個節點失敗則重試其他節點,保證成功建立id。

在分散式系統中保證資料的一致性成本是很高的,為了簡化設計和實現,每個節點都設計成對等的、獨立的,不需要保持資料同步。

其次,id服務必須可靠,資料不能丟失,因此資料的儲存放在獨立的mysql資料庫中,使用replace方式更新資料,id服務本身記錄更新日誌。

最後,id服務必須靈活,可以自定義id格式,可以高效靈活的實現客戶端,因此通訊協議使用json over udp方式,在id服務端使用lua實現id格式的靈活定義。

ID 規則

具體規則有lua指令碼定義,修改指令碼後需要reload生效,需要實現4個函式

  • min_counter : 計數器最小值
  • max_counter : 計數器最大值
  • reset_seconds : 計數器重置週期
  • create_id : 根據計數器、自定義引數和時間引數建立ID。

例如:

介面

採用udp協議,資料格式為json ,欄位定義:

  • action: 請求型別 get: 建立ID , monitor:監控
  • rule_name: 規則名字, 由服務端定義
  • app_name : 應用名或名稱空間 , 客戶端自定義,rule_name和app_name一起決定生成ID的唯一性
  • salt : 自定義引數 ,可選項 ,
  • seq : 自定義引數,可選項,原樣返回

例如:

  • 建立ID請求: {“action”:”get”,”rule_name”:”o2o”,”app_name”:”test”}
  • 響應:{“code”:0,”message”:”success”,”data”:”505140001″}
  • 監控請求:{“action”:”monitor”,”rule_name”:”o2o”,”app_name”:”test”}
  • 響應:{“code”:0,”message”:”ok”,”data”:{“counter”:3,”node_offset”:1}}

效能

id伺服器使用c++實現,效能測試做的比較簡單,因為效能不是id服務的主要關注點, 簡單以php為客戶端進行測試。

4個php併發程式,每個程式不停傳送20萬個請求,測試結果:

伺服器TPS達到近1萬/秒時,平均延遲在0.3毫秒。

經過在生產環境使用,執行穩定,現在將整個系統開源出來,歡迎試用,有任何意見和建議歡迎反饋到 lxyfirst@163.com 。

專案原始碼位置 : https://github.com/lxyfirst/id_server

版本更新9.19
1.增加資料落地的預儲存和批量儲存機制,一方面減少資料庫壓力,一方面增加非同步儲存的可靠性。
2.由於主執行緒和資料庫執行緒只需要傳遞sql語句,將執行緒間通訊由pipe方式改為eventfd + lockfree queue方式。

 

相關文章