StreamNative將Kafka整合到基於Apache Pulsar的雲中

StreamNative是由Apache Pulsar和Apache BookKeeper提供支援的雲原生事件流平臺的製造商，最近宣佈了其StreamNative cloud for Kafka產品的測試版，該產品在雲產品中整合了Apache Kafka和Pulsar。StreamNative簡要介紹了這兩個看似競爭激烈的流媒體平臺如何融合在一起。

StreamNative於2019年由前雅虎同事Sijie Guo和Apache Pulsar的原始開發者Matteo Merli建立。這兩人自10年前該技術問世以來一直在研究該技術。當時的目標是構建一個訊息平臺，將所有Yahoo服務集中在一個系統中，並允許可擴充套件的工作負載排隊。當時可用的訊息傳遞系統沒有滿足Yahoo的要求，包括跨工作負載處理大量訊息傳遞主題，以及提供多租戶架構以簡化基礎設施管理。這些正是Apache Pulsar的主要功能。

裡面是什麼

Pulsar是一個開源的分散式訊息傳遞系統，可以在廣泛的用例中使用，透過將儲存底層訊息資料的資源與處理訊息分發的計算資源分離，具有足夠的可擴充套件性，可以輕鬆移動大量資料。

Pulsar包括一個管理元件，支援內建多租戶和地理複製，以便跨訊息傳遞基底複製資料。這種多層方法使Pulsar特別適合於雲環境和容器環境，這兩種環境都將計算和儲存分離作為一項關鍵原則。

Pulsar vs.Apache Kafka：我們必須做出選擇嗎?

StreamNative Cloud for Kafka為在Apache Kafka(一種幾乎無處不在的分散式事件儲存和流處理平臺)上有重大投資的組織帶來了這些功能，以及對大量主題的支援。StreamNative Cloud for Kafka允許使用者保留和使用Kafka的API、wire協議甚至其聯結器，同時能夠在後端充分利用Apache Pulsar及其自身的功能。

兩年前，StreamNative用Kafka on Pulsar(KoP)播下了StreamNative Cloud for Kafka的種子。Kafka on Pulsar(KoP)是開源Pulsar的先驅功能。現在，StreamNative Cloud for Kafka也將此功能整合到StreamNative的雲平臺中。

Kafka式挑戰

StreamNative與許多投資於Apache Kafka的組織合作，並表示這些組織已經看到了挑戰。例如，StreamNative表示，在Kafka內部以原生方式實現多租戶可能很困難，因為不同的組織或團隊可能使用完全不同的Kafka叢集，這反過來會帶來巨大的管理開銷。

StreamNative的首席架構師Addison Higham評論道，“在微服務世界中，你有許多不同的應用程式，客戶有各種各樣的用例;例如，他們需要對大量主題的支援”，這是出於合規性和其他原因。”

對於Kafka，“如果你新增更多的主題，可能會導致效能下降”，Pulsar可以支援數百萬個主題。”StreamNative還解釋說，Pulsar提供了一個工作佇列，使用者可以在其中連線任意多個使用者，而Kafka需要連線分割槽或主題，這通常會使複雜的計算變得困難，特別是在機器學習場景中，會施加很大的限制。

StreamNative認為，其新的Kafka/Pulsar產品可能會吸引已經投資Kafka的組織，原因有很多。Higham說：“對於一些組織來說，這更多的是關於功能，而對於一些組織來說，這更多的是關於管理方面，對於其他組織來說，這是他們向更雲原生戰略邁進的一部分。在所有情況下，我們都看到Pulsar是一種解決他們問題的技術，現在我們支援Kafka的能力有助於簡化遷移過程。”

簡化流程

StreamNative將Cloud for Kafka產品視為將開源技術引入其完全管理的雲服務並提供更完整解決方案的下一步。它認為該產品縮短了Pulsar的價值實現時間，因為它使客戶能夠使用其現有的應用程式，避免了Kafka生態系統的投資損失。

雖然激發Apache Pulsar建立的最初需求沒有十年前那麼緊迫，但Pulsar的許多核心價值主張仍然具有相關性——對於一些組織來說，可能甚至比以前更加重要。毫不奇怪，StreamNative相信，流媒體資料市場將看到Pulsar應用的加速趨勢。

Pulsar的份額可能會增加，也可能不會增加，但有一點是明確的：即使Kafka沒有被用作原生訊息傳遞後端，其API、協議和聯結器生態系統共同構成了事實上的行業標準。越來越多看似有競爭力的技術和公司可能會支援這一標準。主要的雲提供商已經這樣做了，現在StreamNative也這樣做了。