有沒有任何本地Web使用者介面具有真正的 RAG 功能和知識庫處理功能？
- Open WebUI - 對較大的文件集合處理不佳，缺乏引文使使用者無法識別它是在處理知識還是在產生幻覺。在下載較大的模型時也會出現錯誤。
- AnythingLLM - 文件的批次處理非常不靈活，模型切換隱藏在設定中。它還經常剎車。
- RAGFlow - 尚不成熟，部署狀況很糟糕。Docker-compose.yml 使用了一些奇怪的語法，在我嘗試使用時無法正常工作。它還捆綁了很多不必要的基礎架構元件，如代理伺服器和 S3 儲存，這讓它在 Kubernetes 上的部署變得很糟糕。
- Danswer - 非常不錯的引用功能，但在升級和知識庫管理方面卻對所有使用者都是管理員級別的操作--設定非常不靈活。
GPT4ALL
使用 SBERT。它的文件庫可以開啟或關閉，這樣你就可以確定要將哪些文件庫用作每個提示的知識庫。
- 你所要做的就是建立一個文件庫資料夾。
- 將該庫指向一個資料夾，然後將你想要的文件放到該資料夾中。
- 當檢測到文件資料夾有變化時，它會重新索引並執行嵌入。
- 它還會為每個提示提供很好的引文（如果你開啟引文），這樣你就可以看到它是否真的在 RAG。
最酷的功能是你可以將它設定為 API 端點，它會為你選擇的模型和 RAG 文件庫提供服務，這樣傳送到端點的提示就會給出 RAG 答案。這將帶來一些新的可能性（領域專家端點）。
flowise 和 langflow
可以使整個過程可見並能直接管理。但是還沒有設法獲得任何流程來提取句子來自句子符合某種標準的文件。
Chat with Nvidia
如果您有 Nvidia 的顯示卡之一，請嘗試使用 Chat with Nvidia 應用程式。作為測試，我給它餵了 10k 部 pdf 格式的科幻小說和奇幻小說。花了兩天時間用我的 3090 ti 建立資料庫，然後在引用方面效果很好，並且只為您提供資料中的事實......
Dify
他們有一個 docker-compose 設定，dify 值得與 AnythingLLM 和 Danswer 一起提及。https://dify.ai/<a>
Cohere-toolkit
next.js 程式碼做得很好。有 890 個Web UI
使用SillyTavern 作為前端，它具有出色的 RAG 功能（網路搜尋、檔案、連結），並且具有許多可定製的設定和擴充套件、群聊、穩定的擴散影像，可以在家中託管它並在手機中使用它
LibreChat及其姐妹儲存庫rag_api
jan.ai
LMStudio 的開源替代品，最近剛剛新增了（基本）RAG。到目前為止，它是我見過的對功能請求最友好+響應最快的開源專案/團隊。
PostgresML
直接在資料庫中執行 RAG ，可以建立具有生產質量的 RAG 應用程式。
總結
- 大模型 LLM / RAG 開源專案
- 打包所有到一個容器中
- 基本的聊天集 + 輕鬆的模型切換 + 每個使用者的知識庫管理 + 共同開發的引用功能