使用ConnectableFlux在elasticsearch上進行後臺批處理 - Jeroen van Wilgenburg
我們有一個Project Reactor應用程式，有很多透過id進行的單個get / insert操作，導致Elasticsearch叢集上的負載非常高，根據ID新增批處理讀取是一件非常繁瑣的事情，以至於我正在尋找其他解決方案。我最終想出了一個使用ConnectableFlux的解決方案。
場景是：每條訊息都會從elasticsearch中檢索文件，然後使用這個訊息中的資訊進行更新，然後再插入Elasticsearch中。當訊息在10秒鐘之內得到處理時，延遲不是什麼大問題。不好的是，我們的Elasticsearch叢集承受著壓力。峰值負載下的響應時間超過250毫秒。最終導致訊息處理過程中的幾分鐘延遲。
所有程式碼示例均在github上可用。我在本文中使用的程式碼段是經過簡化的版本（具有更少的日誌記錄和文件），以提高可讀性。源儲存庫還包含用於建立測試資料和執行效能測試的所有指令碼。它基本上是一個標準的Spring Initializr – Spring Boot應用程式。
詳細點選標題見原文。
相關文章
- 批處理檔案 bat 後臺執行BAT
- oracle windows下使用批處理進行exp匯出OracleWindows
- 在 NASA 使用開源工具進行影像處理開源工具
- 後臺處理
- PrepareStatement物件進行批處理的典型步驟順序REST物件
- 批處理-快速格式化硬碟（全自動進行）硬碟
- 使用awk批處理在字串中增加特殊符號字串符號
- 英偉達在CES上推出AI處理平臺AI
- 使用 canvas 對影象進行處理Canvas
- 使用 getopt() 進行命令列處理命令列
- Windows批處理學習(二)——批處理(3)薦Windows
- 對比Elasticsearch，使用Doris進行高效日誌分析（上）Elasticsearch
- BAT批處理判斷服務是否正常執行(批處理命令綜合應用)BAT
- 批處理框架框架
- JDBC 批處理JDBC
- 碎片批處理
- 批處理命令
- .NET使用MailKit進行郵件處理AI
- 在linux中生成windows的批處理LinuxWindows
- uploadify前臺上傳檔案,java後臺處理的例子Java
- jQuery向後臺傳送json資料進行處理程式碼例項jQueryJSON
- 在SQL Server資料庫中使用批處理的注意事項SQLServer資料庫
- 用批處理檔案執行備份
- windows批處理之一：字串處理Windows字串
- airflow 進行後端大資料中ETL處理(草稿)AI後端大資料
- Windows批處理命令Windows
- 批處理命令大全
- 批處理壓縮
- 批處理----學習
- DOS 批處理命令
- 如何使用WorkManager執行後臺任務(上)
- 在 WSL Ubuntu 上使用 .NET 進行跨平臺開發新手入門Ubuntu
- 使用Preprocessor前處理器語句對外部表進行介入處理
- 在VB中用Paintpicture方法進行圖形處理 (轉)AI
- 使用bat批處理命令打包maven專案BATMaven
- 使用批處理重新啟動計算機計算機
- Facebook：使用者點選舉報後的後臺處理流程
- 如何在批處理模式下執行 top 命令模式