開源RAG框架彙總

深度学习机器發表於2024-05-10
框架

前言

本文蒐集了一些開源的基於LLM的RAG（Retrieval-Augmented Generation）框架，旨在吸納業界最新的RAG應用方法與思路。如有錯誤或者意見可以提出，同時也歡迎大家把自己常用而這裡未列出的框架貢獻出來，感謝~

RAG應用框架

  1. RAGFlow

  • 專案地址：https://github.com/infiniflow/ragflow

  • 簡介：RAGFlow 是一款基於深度文件理解構建的開源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以為各種規模的企業及個人提供一套精簡的 RAG 工作流程，結合大語言模型（LLM）針對使用者各類不同的複雜格式資料提供可靠的問答以及有理有據的引用。

  • 特性：OCR、內建多種文件切分模板、文件切分視覺化並且可修改、相容多種文件資料型別

  • 架構：

  • 硬體要求：CPU >= 4 核、RAM >= 16 GB、Disk >= 50 GB、Docker >= 24.0.0 & Docker Compose >= v2.26.1

  1. QAnything

  • 專案地址： https://github.com/netease-youdao/QAnything

  • 簡介：QAnything ( Q uestion based on Anything ) 是貢獻支援任何格式檔案或資料庫的本地知識庫問答系統，可斷網安裝使用。您的任何格式的本地檔案都可以往裡扔，即可獲得準確、快速、靠譜的問答體驗。

  • 特性：支援離線安裝使用、跨語種問答、粗排和精排的二階段召回

  • 架構：

  • 硬體要求：最低CPU即可；使用GPU環境需要NVIDIA GPU Memory >= 4GB (use OpenAI API) & Docker Desktop >= 4.26.1（131620）

  1. open-webui

  • 專案地址：https://github.com/open-webui/open-webui

  • 簡介：Open WebUI 是一個可擴充套件、功能豐富且使用者友好的自託管 WebUI，旨在完全離線操作。它支援各種 LLM 執行程式，包括 Ollama 和 OpenAI 相容的 API。

  • 特性：原生支援Ollama、支援安裝和解除安裝模型、支援多模態模型、支援切換模型、多使用者管理

  • 架構：

  • 硬體要求：最低CPU即可，使用GPU環境需要NVIDIA GPU Memory >= 4GB (取決於使用Ollama的模型大小)

  1. FastGPT

  • 專案地址：https://github.com/labring/FastGPT

  • 簡介：FastGPT 是一個基於 LLM 大語言模型的知識庫問答系統，提供開箱即用的資料處理、模型呼叫等能力。同時可以透過 Flow 視覺化進行工作流編排，從而實現複雜的問答場景！

  • 特性：支援應用編排、免登入分享、支援接入飛書、企業微信等應用

  • 架構：

  • 硬體要求：CPU >= 2 核、RAM >= 4 GB用於安裝資料庫，GPU取決於使用的模型

  1. Langchain-Chatchat

  • 專案地址：https://github.com/chatchat-space/Langchain-Chatchat

  • 簡介：基於 ChatGLM 等大語言模型與 Langchain 等應用框架實現，開源、可離線部署的檢索增強生成(RAG)大模型知識庫專案。

  • 特性：算是比較早期的RAG框架了，使用的基本全是python的框架。該專案是一個可以實現完全本地化推理的知識庫增強方案, 重點解決資料安全保護，私域化部署的企業痛點。支援市面上主流的本地大語言模型和Embedding模型，支援開源的本地向量資料庫。 本開源方案採用Apache License，可以免費商用，無需付費。

  • 架構：

  • 硬體要求：對GPU要求較高

相關文章