有趣的專案、工具和庫
1、secret-llama
完全私人化的 LLM 聊天機器人，完全透過瀏覽器執行，無需伺服器。支援 Mistral 和 LLama 3.x；
2、VILA
視覺語言模型的預訓練，具有訓練、推理和評估配方，可從雲端部署到邊緣（Jetson Orin 和膝上型電腦）。
VILA 推出了吸引人的功能，包括：影片推理、情境學習、視覺思維鏈和更好的世界知識。
VILA（Visual Language model family）是一個視覺語言模型家族：
- 在多個基準測試中一致性地超越了現有的最先進模型，例如LLaVA1.5。
- VILA不僅在視覺語言任務上表現出色，而且還具有多影像推理、增強的上下文學習和更好的世界知識等吸引人的特性。
- 此外，VILA還可以部署在Jetson Orin上，實現在裝置上的VLM。
3、prometheus-eval
使用 Prometheus 評估您的大模型的反應。
- Prometheus 2 (8x7B)是一個開源的最先進的評估器語言模型！
- 與 Prometheus 1 (13B) 相比，Prometheus 2 (8x7B) 顯示出改進的評估效能，並且還支援以成對排名（相對評分）格式進行評估！
- 它在多個直接評估基準（包括VicunaBench、MT-Bench和FLASK）上，與 GPT-4-1106 在 5 點李克特量表上實現了 0.6 至 0.7 的 Pearson 相關性。
- 它還在多個成對排名基準中獲得了 72% 到 85% 的人類判斷一致性，包括HHH Alignment、MT Bench Human Judgment和Auto-J Eval。
- 達到 Prometheus 2 (8x7B) 至少 80% 的評估統計或效能
- 它僅需要 16 GB VRAM，適合在消費級 GPU 上執行。
4、LeRobot
適用於現實世界機器人的最先進的機器學習。
- LeRobot 旨在為 PyTorch 中的現實世界機器人提供模型、資料集和工具。目標是降低進入機器人技術的門檻，以便每個人都可以做出貢獻並從共享資料集和預訓練模型中受益。
- LeRobot 包含最先進的方法，這些方法已被證明可以轉移到現實世界，重點是模仿學習和強化學習。
- LeRobot 已經提供了一組預訓練模型、包含人類收集演示的資料集以及無需組裝機器人即可開始使用的模擬環境。在接下來的幾周內，該計劃將在最實惠、功能最強大的機器人上增加對現實世界機器人技術的越來越多的支援。
- LeRobot 在這個 Hugging Face 社群頁面上託管預訓練的模型和資料集：huggingface.co/lerobot
5、Panza
個人電子郵件助理，經過培訓並在裝置上執行。
Panza 是一款根據您的寫作風格和過去的電子郵件歷史記錄定製的自動電子郵件助手。其主要特點如下：
- Panza 會生成一個與您的寫作風格相匹配的微調 LLM，並將其與檢索增強生成 (RAG) 元件配對，幫助其生成相關電子郵件。
- Panza可以完全在本地進行培訓和執行。目前，它需要具有 16-24 GiB 記憶體的單個 GPU，但我們還計劃釋出僅 CPU 的版本。在培訓或執行過程中，您的資料絕不會與培訓原始法學碩士的實體、Huggingface 等法學碩士分發服務或我們共享。
- 訓練和執行也很快 - 對於包含 1000 封電子郵件的資料集，訓練 Panza 需要不到一個小時，而生成一封新電子郵件最多隻需要幾秒鐘。
先決條件
- 您的電子郵件已匯出為mbox格式。
- 一臺計算機，最好配備 NVIDIA GPU，記憶體至少為 24 GiB（。
- 用於下載模型的Hugging Face帳戶（免費）。
- [可選] Hugging Face 帳戶，用於在訓練期間記錄指標（免費）。
- 基礎Python和Unix知識，例如構建環境和執行python指令碼。
- 無需擁有大模型經驗。
Panza 的一個關鍵部分是我們稱之為資料回放的資料集生成技術：給定您過去的一些 .mbox 格式的電子郵件，我們透過使用預訓練的 LLM 以指令形式總結電子郵件，自動為 Panza 建立訓練集；每封電子郵件都會成為一(synthetic instruction, real email)對。給定一個由所有對組成的資料集，我們使用這些對來“回放”您傳送的電子郵件：LLM 僅接收指令，並且必須生成“真實情況”電子郵件作為訓練目標。
然後，我們使用引數高效的微調在該資料集上本地訓練 LLM。我們發現使用RoSA 方法獲得了最佳結果，該方法結合了低秩 (LoRA) 和稀疏微調。
一旦我們有了自定義使用者模型，Panza 就可以與檢索增強生成 (RAG) 模組一起在本地執行。具體來說，此功能將過去的電子郵件儲存在資料庫中，並提供一些相關電子郵件作為每個新查詢的上下文。這使得 Panza 能夠更好地插入特定的詳細資訊，例如作者的聯絡資訊或常用的 Zoom 連結。
6、DrEureka
英偉達的語言模型引導模擬到真實的遷移。
將在模擬中學習到的策略轉移到現實世界中，是大規模獲取機器人技能的一種有前途的策略。然而，"模擬到現實 "的方法通常依賴於人工設計和調整任務獎勵函式以及模擬物理引數，因此過程緩慢且耗費大量人力。
在本文中，我們研究了使用大型語言模型（LLM）來自動加速模擬到現實的設計。我們的 LLM 引導模擬到現實方法只需要目標任務的物理模擬，並自動構建合適的獎勵函式和領域隨機化分佈，以支援現實世界的轉移。
我們首先展示了我們的方法可以發現模擬到現實的配置，這些配置在四足運動和靈巧操作任務上與現有的人類設計的配置具有競爭力。然後，我們展示了我們的方法能夠解決新穎的機器人任務，例如四足平衡和在瑜伽球上行走，而無需反覆的人工設計。
7、SATO
穩定的文字轉動畫框架。
穩定文字到運動框架（SATO） 由三個模組組成，每個模組致力於穩定注意力、穩定預測以及保持準確性和魯棒性權衡之間的平衡。
- 文字到運動模型的一個重大問題：它的預測經常表現出不一致的輸出，當呈現語義相似或相同的文字輸入時，會導致截然不同甚至不正確的姿勢。
- SATO 對於同義詞和其他輕微擾動明顯更加穩定，同時保持其高精度效能。
8、LlamaParse
解析檔案以獲得最佳 RAG：LlamaParse 是由 LlamaIndex 建立的 API，用於使用 LlamaIndex 框架高效地解析和表示檔案，以實現高效檢索和上下文增強。
9、Opengist
由 Git 支援的自託管 pastebin，Github Gist 的開源替代方案。支援 Mistral 和 LLama 3.
10、gpt-home
一個類似免費開源的家庭助理。使用 OpenAI API 在 Raspberry Pi 上構建。
11、PgQueuer
PgQueuer 是一個利用 PostgreSQL 實現高效作業排隊的 Python 庫。
PgQueuer 是一個簡約的、高效能的 Python 作業佇列庫，利用了 PostgreSQL 的穩健性。 PgQueuer 專為簡單和高效而設計，使用 PostgreSQL 的 LISTEN/NOTIFY 輕鬆管理作業佇列。
特徵
- 簡單整合：使用 PostgreSQL 輕鬆與現有 Python 應用程式整合。
- 高效的併發處理：利用 PostgreSQLFOR UPDATE SKIP LOCKED進行可靠的併發作業處理。
- 實時通知：利用LISTEN並NOTIFY實時更新工作狀態變化。
12、relax-py
用於 htmx 和 tailwindcss 的 Python Web 開發框架，具有熱模組替換、URL 定位器、依賴項注入，由靜態型別支援，構建在 Starlette 之上。
13、OpenUI
OpenUI 可讓您用想象力描述使用者介面，然後看到它的實時呈現。
14、Snaker
- 用 Go 編寫的線上多人經典貪吃蛇遊戲
- 您可以與機器人一起玩雙人或單人遊戲
15、Logfire
適用於 Python 及其他領域的簡單可觀察性！
來自 Pydantic 背後的團隊，Logfire是一個可觀察性平臺，其構建與我們的開源庫有著相同的信念——最強大的工具應該易於使用。
Logfire 的與眾不同之處在於：
- 簡單而強大： Logfire 的儀表板相對於它提供的功能來說很簡單，確保您的整個工程團隊都會真正使用它。
- 以 Python 為中心的見解：從豐富的 Python 物件顯示到事件迴圈遙測，再到分析 Python 程式碼和資料庫查詢，Logfire 為您提供了對 Python 應用程式行為的無與倫比的可見性。
- SQL：使用標準 SQL 查詢資料 — 所有控制，（對於許多人來說）沒有什麼新東西需要學習。使用 SQL 還意味著您可以使用現有 BI 工具和資料庫查詢庫查詢資料。
- OpenTelemetry： Logfire 是 OpenTelemetry 的一個固定包裝器，允許您利用許多常見 Python 包的現有工具、基礎設施和儀器，並支援幾乎任何語言。
- Pydantic 整合：瞭解流經 Pydantic 模型的資料並獲得內建的驗證分析。
16、Bytewax
Bytewax 是一個簡化事件和流處理的 Python 框架。
Bytewax 是一個簡化事件和流處理的 Python 框架。由於 Bytewax 將 Flink、Spark 和 Kafka Streams 的流和事件處理功能與 Python 友好且熟悉的介面結合在一起，因此您可以重複使用您已經瞭解和喜愛的 Python 庫。連線資料來源、執行有狀態轉換並使用內建聯結器或現有 Python 庫寫入各種不同的下游系統。
Bytewax 是一個 Python 框架和 Rust 分散式處理引擎，使用資料流計算模型提供類似於 Flink、Spark 和 Kafka Streams 的可並行流處理和事件處理能力。您可以將 Bytewax 用於各種工作負載，從 Kafka Connect 風格的資料移動一直到高階線上機器學習工作負載。 Bytewax 不僅限於流應用程式，而且在資料可以在輸入和輸出處分發的任何地方都表現出色。
Bytewax 有一個附帶的命令列介面，waxctl，它支援在雲伺服器或 Kubernetes 上部署資料流。你可以在這裡下載。
17、django-harlequin
使用 Django 資料庫配置啟動 Harlequin，終端的 SQL IDE。
- 支援 Python 3.8 至 3.12。
- 支援 Django 3.2 至 5.0。
- 支援的資料庫後端：MariaDB/MySQL、PostgreSQL、SQLite。