打破Kafka帶來的瓶頸？

降低IT基礎設施成本、實現資料基礎設施的現代化、達到或超過服務級別目標(SLO)以及加快上市時間是當今企業的一個關鍵重點，實施開源軟體似乎很有吸引力。然而，大規模執行開源軟體增加了成本和運維複雜性。完全託管的服務可以提供幫助。

以Apache Kafka為例，這是一個開源的分散式資料流平臺。隨著公司意識到將資料作為數字化轉型和差異化基礎的價值，Apache Kafka已迅速成為現代資料基礎設施的基石。

如今，超過70%的《財富》500強企業將Kafka用作其首選的實時資料流平臺，幫助推動業務增長和無與倫比的客戶體驗。

開源軟體有許多好處，但與部署和維護相關的成本可以透過多種方式體現出來。

例如，雖然Kafka可以免費下載、修改、使用和重新分發，但大規模自我管理複雜的分散式系統仍會帶來巨大的運維和開發成本、代價高昂的停機和安全漏洞風險，並增加企業開支。

這些成本可分為幾類：

——基礎設施成本：在Kafka軟體開發和運維成本之前，組織必須支付基礎設施及其管理費用。為了支援不斷變化的需求，需要過度資源調配，此外，在不增加計算資源的情況下，無法擴充套件儲存。

——可擴充套件性成本：以合理成本進行擴充套件的能力是另一個挑戰。隨著使用量的增加，組織會因手動過程而產生高昂的擴充套件成本。

——FTE和運維成本：除了要求工程師為更完整的資料流架構構建元件和工具，而不是為業務構建資料流應用程式或其他高價值專案之外，還包括為管理Kafka分配工程資源。此外，僱用和留住Kafka人才越來越困難。

——停機成本：包括與意外叢集故障和維護相關的成本，因為Kafka跨越了更多的用例、資料系統、團隊和環境。然後，將寶貴的資源轉用於解決計劃外停機和違規問題。雖然這些成本很難量化，但一旦發生事故，其重要性就會突然顯現出來。

彈性是雲原生計算的基石之一，它允許分配不同的基礎設施資源以滿足業務需求。它允許企業在需要時只使用和支付所需的東西，從而使企業以更低的基礎設施成本更高效地運維。

簡單地說，你希望以一種不會以指數方式增加成本的方式擴充套件雲工作負載。彈性有助於以最佳化成本曲線的方式適應工作負載。

更重要的是，彈性不僅關乎更快的擴充套件，還關乎在需要時縮減基礎設施資源的能力，以確保不會為基礎設施支付過高的費用。

當談到在流式基礎設施中構建彈性時，單個Kafka叢集的橫向擴充套件有其侷限性。隨著代理數量的增加，管理複製所需的每個代理的連線數量變得困難，並影響效能。這也增加了運維成本。垂直擴充套件也帶來了挑戰——儲存的垂直擴充套件增加了從故障中恢復的時間。

如何解決Kafka彈性和成本問題

開源產品的最新發展是在託管服務領域。透過使開源軟體的配置、監控和管理更簡單、更可靠，同時節省成本和資源，它們為企業提供了更多從開源社群中受益的方式。

透過流行的開源專案(如Apache Kafka)的完全託管的服務，你的組織可以將關鍵資源轉移到更高價值的任務上。它們透過確保立即調配叢集並無縫管理維護，保證了零運維負擔。此外，你也可以跳過花六到九個月招聘和培訓員工的部分，而立即專注於產品開發。

更重要的是，它不涉及容量規劃、資料再均衡或任何其他擴充套件資料基礎設施的典型運維負擔，確保業務執行更快、更高效，同時降低基礎設施成本、維護和停機風險。

事實上，將Kafka基礎設施和運營轉移到完全託管的雲原生資料流服務可以最大限度地減少技術負擔和風險，讓優秀員工專注於他們的關鍵專案，並透過多種方式提高總體擁有成本，包括：

——避免過度配置：Apache Kafka最佳實踐傳統上建議為峰值使用量配置叢集。這通常比流量提前幾個月甚至幾個季度。利用完全託管的服務有助於將這一時間減少到幾個小時，因此你可以在流量到達之前進行擴充套件，而不會浪費數週的未使用容量。

——提高彈性和可用性：構建生產級服務級別協議(SLA)需要花費大量精力和資源，包括工程師時間。SLA中最小的差異意味著客戶停機時間會成倍增加。當代理髮生故障時，完全管理的服務可確保能夠自動、快速地修復或啟用新代理，這對於確保叢集維護其SLA併為使用者提供適當數量的容量至關重要。

——一鍵部署：透過完全託管的服務，擴充套件可以自動化或透過單擊按鈕完成。這意味著你不需要在容量規劃、網路設定、負載均衡或任何其他方面花費時間。相反，你的高報酬全職員工(FTE)可以專注於創新和構建關鍵任務應用程式。

將可擴充套件性構建到基礎設施中從未如此重要，而利用雲彈性已成為企業確保隨時準備就緒的有力方式。

Confluent Cloud是Apache Kafka的一個完全託管的雲原生服務，它的一個關鍵區別在於，當向上和向下調整時，彈性伸縮適用。收縮叢集的速度與擴充套件叢集的速度一樣快。結果是什麼?當流量減少時，你可以避免為任何多餘的容量支付過高的費用。