Timestone：Netflix 的高吞吐量、低延遲優先佇列系統

banq發表於2022-09-30
佇列

Timestone：Netflix 的高吞吐量、低延遲優先佇列系統，內建支援不可並行化的工作負載。

Timestone 是我們內部構建的高吞吐量、低延遲優先順序排隊系統，用於支援我們的媒體編碼平臺Cosmos的需求。在過去的 2.5 年裡，它的使用有所增加，Timestone 現在也是支援我們通用工作流編排引擎（Conductor）的優先佇列引擎，以及大規模資料管道的排程器（BDP Scheduler）。總而言之，Netflix 內的數百萬個關鍵工作流現在每天都流經 Timestone。

Timestone 客戶端可以建立佇列，使用使用者定義的截止日期和後設資料將訊息排入佇列，然後以最早截止日期優先 (EDF) 的方式將這些訊息出列。還支援使用標準過濾 EDF 訊息（例如，“屬於佇列 X 並具有後設資料 Y 的訊息”）。

Timestone 與其他優先順序佇列的不同之處之一是它支援我們稱為獨佔佇列的構造——這是一種將工作塊標記為不可並行化的方法，無需在消費者端進行任何鎖定或協調；一切都由後臺的排他佇列處理。

我們將在接下來的部分中詳細解釋這個概念。
詳細點選標題

相關文章