10個Github有趣的專案、工具和庫
1、WebLlama
Llama-3 網路Web代理，這是使用 Llama 3 構建的最強大的代理，透過聊天對話實現Web導航，可以按照說明瀏覽網頁並與您交談。
在Llama-3-8B-Web效能上超過了 GPT-4V（*零樣本）18%
2、LLaMA-Factory
統一對 100 多個 LLM 進行高效微調。
特徵：
- 各種型號：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等。
- 綜合方法：（連續）預訓練、（多模式）監督微調、獎勵建模、PPO、DPO 和 ORPO。
- 可擴充套件資源：32 位全調優、16 位凍結調優、16 位 LoRA 和 2/4/8 位 QLoRA 透過 AQLM/AWQ/GPTQ/LLM.int8。
- 高階演算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 Agent 調整。
- 實用技巧：FlashAttention-2、Unsloth、RoPE 縮放、NEFTune 和 rsLoRA。
- 實驗監視器：LlamaBoard、TensorBoard、Wandb、MLflow等
- 更快的推理：OpenAI 風格的 API、Gradio UI 和 CLI 以及 vLLM Worker。
基準：
- 與 ChatGLM 的P-Tuning相比，LLaMA Factory 的 LoRA 調優可提供高達3.7 倍的訓練速度，並在廣告文字生成任務上獲得更好的 Rouge 分數。透過利用 4 位量化技術，LLaMA Factory 的 QLoRA 進一步提高了 GPU 記憶體的效率。
3、tkforge
在 Figma 中拖放即可輕鬆建立 Python GUI。
ParthJadhav 和 Tkinter Designer 已經完成了相同的功能，但是該專案有自己特點：
- 超級容易使用
- 拖放 GUI 製作器
- 支援佔位符文字
- 支援多幀
- 根據背景自動將前景設定為黑色或白色（並不總是準確）
4、Perplexica
Perplexica 是一個人工智慧驅動的搜尋引擎。它是 Perplexity AI 的開源替代品。
Perplexica 是一款開源的人工智慧搜尋工具或人工智慧搜尋引擎，可以深入網際網路尋找答案。受到 Perplexity AI 的啟發，它是一個開源選項，不僅可以搜尋網路，還可以理解您的問題。它使用相似性搜尋和嵌入等先進的機器學習演算法來完善結果，並提供明確的答案和引用的來源。
Perplexica 使用 SearxNG 保持最新且完全開源，確保您始終獲得最新資訊，而不會損害您的隱私。
5、torchtitan
用於大型模型訓練的原生 PyTorch 庫。torchtune 現在正式支援 Meta Llama3！
torchtune 是一個 PyTorch 原生庫，可以輕鬆地使用 LLM 進行創作、微調和實驗。我們很高興地宣佈我們的 alpha 版本！
torchtune 提供：
- 使用可組合和模組化構建塊對流行的 LLM 進行本機 PyTorch 實現
- 針對流行的微調技術（LoRA、QLoRA）的易於使用且可破解的培訓方案 - 沒有培訓師，沒有框架，只有 PyTorch！
- YAML 配置可輕鬆配置訓練、評估、量化或推理方法
- 內建支援多種流行的資料集格式和提示模板，幫助您快速開始訓練
6、LMDeploy
LMDeploy 是一個用於壓縮、部署和服務 LLM 的工具包。由MMRazor和MMDeploy團隊開發。它具有以下核心特點：
- 高效推理：LMDeploy 透過引入持久批處理（又稱連續批處理）、阻塞 KV 快取、動態拆分和融合、張量並行、高效能 CUDA 核心等關鍵功能，提供比 vLLM 高出 1.8 倍的請求吞吐量。
- 有效量化：LMDeploy支援僅權重和k/v量化，4位推理效能比FP16高2.4倍。量化質量已透過 OpenCompass 評估得到確認。
- 輕鬆的分發伺服器：利用請求分發服務，LMDeploy 有助於跨多臺機器和卡輕鬆高效地部署多模型服務。
- 互動推理模式：透過快取多輪對話過程中注意力的k/v，引擎記住對話歷史，從而避免對歷史會話的重複處理。
7、cohere-toolkit
工具包是預構建元件的集合，使使用者能夠快速構建和部署 RAG 應用程式。
此儲存庫中的元件包括：
- src/interfaces/coral_web- 在 Next.js 中構建的 Web 應用程式。包括一個開箱即用的簡單 SQL 資料庫，用於在應用程式中儲存對話歷史記錄。
- src/backend- 包含預配置的資料來源和檢索程式碼，用於在自定義資料來源（稱為“檢索鏈”）上設定 RAG。使用者還可以配置要使用的模型，從託管在 Cohere 平臺、Azure 和 AWS Sagemaker 上的 Cohere 模型中進行選擇。預設情況下，我們配置了一個 Langchain 資料檢索器來測試維基百科和您自己上傳的文件上的 RAG。
8、Cognita
RAG（檢索增強生成）框架，用於透過 TrueFoundry databonsai
構建用於生產的模組化開源應用程式 使用LLM清理和管理您的資料。
Langchain/LlamaIndex 提供易於使用的抽象，可用於在 Jupyter Notebook 上進行快速實驗和原型設計。但是，當產品投入生產時，會遇到一些限制，例如元件應該是模組化的、易於擴充套件和擴充套件。這就是 Cognita 發揮作用的地方。 Cognita 在底層使用 Langchain/Llamaindex 併為您的程式碼庫提供組織，其中每個 RAG 元件都是模組化、API 驅動且易於擴充套件的。
9、Convex
Convex 是用於全棧應用程式開發的後端即服務。 Convex 取代了資料庫、伺服器功能、排程、儲存、向量搜尋等。
Convex是用於全棧應用程式開發的後端即服務。精心策劃的元件，由專家最佳化。
Convex 取代了您的資料庫、伺服器功能、排程、儲存、向量搜尋等。它包括 一組與您的前端應用程式程式碼深度整合的客戶端庫，以提供完全一致的快取和開箱即用的實時更新。您所需要做的就是編寫應用程式程式碼。
開始使用 Convex 的最佳方法是遵循 Convex 文件中的入門指南。
10、CopilotKit
如何將聊天機器人深度整合到您的應用程式中：用於構建自定義 AI Copilots 應用內 AI 聊天機器人、應用內 AI 代理和 AI 驅動的文字區域的框架。
構建應用程式感知的人工智慧聊天機器人，可以“檢視”當前應用程式狀態並在應用程式內採取操作。AI 聊天機器人可以透過外掛與您的應用程式前端和後端以及第 3 方服務（Salesforce、Dropbox 等）對話。支援生成式 UI。
- 自動補全+人工智慧編輯+從頭開始生成內容
- 讓代理訪問實時應用程式上下文，並讓代理在應用程式內執行操作。
在您的應用程式中定義以下簡單的入口點，CopilotKit執行引擎會處理剩下的事情！
- 應用程式狀態（前端+後端+第3方）
- 應用程式互動（透過typescript 程式碼，前端+後端）
- 特定用途的LLM 鏈