本週open-interpreter等10個開源AI大模型

本週大模型AI有趣專案、工具和庫

1、open-interpreter
計算機自然語言介面。

讓語言模型在您的計算機上執行程式碼。在本地開源的OpenAI的程式碼直譯器。

Open Interpreter（開放直譯器）可以讓大語言模型（LLM）在本地執行程式碼（比如Python、JavaScript、Shell等）。安裝後，在終端上執行$ interpreter就可以透過類似ChatGPT的介面與Open Interpreter聊天。
本軟體為計算機的通用功能提供了一個自然語言介面，如：

• 建立和編輯照片、影片、PDF等
• 控制Chrome瀏覽器進行搜尋
• 不平等、清理和分析大型資料集

與 ChatGPT 的程式碼直譯器比較：
OpenAI 釋出的程式碼直譯器和 GPT-4 提供了一個與 ChatGPT 實際執行任務的絕佳機會。
但是，OpenAI 的服務是託管的，閉源的，並且受到嚴格限制

Open Interpreter（開放直譯器）透過在本地環境中執行克服了這些限制。它可以完全訪問網際網路，不受執行時間或檔案大小的限制，也可以使用任何堆疊或庫。
這將是GPT-4程式碼直譯器的強大功能與本地開發環境的靈活相結合。

2、Devika
Agentic 人工智慧軟體工程師。 Devika 的目標是成為 Cognition AI 的 Devin 的有競爭力的開源替代品。

Devika 是一位高階人工智慧軟體工程師，可以理解高階人類指令，將其分解為步驟，研究相關資訊並編寫程式碼以實現給定目標。 Devika 利用大型語言模型、規劃和推理演算法以及網頁瀏覽功能來智慧地開發軟體。

Devika 的目標是透過提供人工智慧結對程式設計師來徹底改變我們構建軟體的方式，該程式設計師可以在最少的人工指導下完成複雜的編碼任務。無論您需要建立新功能、修復錯誤還是從頭開始開發整個專案，Devika 都會為您提供幫助。

Devika 是Cognition AI 以Devin為原型的。該專案旨在成為 Devin 的開源替代品。

主要特徵

• 支援Ollama、 Claude 3、GPT-4、GPT-3.5。為了獲得最佳效能：使用Claude 3系列型號。
• 先進的AI規劃和推理能力
• 上下文關鍵詞提取以進行重點研究
• 無縫網頁瀏覽和資訊收集
• 用多種程式語言編寫程式碼
• 動態代理狀態跟蹤和視覺化
• 透過聊天介面進行自然語言互動
• 基於專案的組織和管理
• 用於新增新功能和整合的可擴充套件架構

系統架構
Devika的系統架構由以下關鍵元件組成：

1. 使用者介面：基於網路的聊天介面，用於與 Devika 互動、檢視專案檔案以及監控代理的狀態。
2. Agent Core：編排AI規劃、推理和執行過程的核心元件。它與各種子代理和模組通訊以完成任務。
3. 大型語言模型：Devika 利用Claude、GPT-4和Ollama 的本地 LLM等最先進的語言模型進行自然語言理解、生成和推理。
4. 規劃和推理引擎：負責將高階目標分解為可操作的步驟，並根據當前上下文做出決策。
5. 研究模組：利用關鍵字提取和網頁瀏覽功能來收集當前任務的相關資訊。
6. 程式碼編寫模組：根據計劃、研究結果和使用者需求生成程式碼。支援多種程式語言。
7. 瀏覽器互動模組：使 Devika 能夠根據需要導航網站、提取資訊並與 Web 元素互動。
8. 知識庫：儲存和檢索專案特定資訊、程式碼片段和學到的知識，以便高效訪問。
9. 資料庫：儲存專案資料、代理狀態和配置設定。

3、T-Rex
透過文字-視覺提示協同實現通用物體檢測。

物體檢測，即定位和識別影像中物件的能力，是計算機視覺的基石，對於從自動駕駛到內容稽核等應用至關重要。
傳統目標檢測模型的一個顯著限制是其封閉集性質。這些模型在一組預定的類別上進行訓練，從而限制了它們僅識別那些特定類別的能力。訓練過程本身是艱鉅的，需要專業知識、廣泛的資料集和複雜的模型調整才能達到理想的準確性。此外，新的物體類別的引入加劇了這些挑戰，需要重複整個過程。

T-Rex2 透過將文字和視覺提示整合在一個模型中來解決這些限制，從而利用這兩種模式的優勢。文字和視覺提示的協同作用為 T-Rex2 提供了強大的零射擊功能，使其成為不斷變化的物體檢測領域中的多功能工具。

T-Rex2 非常適合各種現實世界的應用，包括但不限於：農業、工業、牲畜和野生動物監測、生物學、醫學、OCR、零售、電子、運輸、物流等。 T-Rex2主要支援互動式視覺提示工作流程、通用視覺提示工作流程和文字提示工作流程三大工作流程。可以覆蓋大部分需要物體檢測的應用場景

4、OpenDevin
一個旨在複製 Devin 的開源專案，Devin 是一位自主人工智慧軟體工程師，能夠執行復雜的工程任務並在軟體開發專案上與使用者積極協作。

Devin 代表了一種尖端的自主代理，旨在應對軟體工程的複雜性。它利用 shell、程式碼編輯器和 Web 瀏覽器等工具的組合，展示了大模型在軟體開發方面尚未開發的潛力。我們的目標是探索和擴充套件 Devin 的能力，確定其優勢和需要改進的領域，以指導開放程式碼模型的進展。

使用大模型實現生產級應用程式的完全複製是一項複雜的工作。我們的策略包括：

1. 核心技術研究：專注於基礎研究，以理解和改進程式碼生成和處理的技術方面。
2. 專業能力：透過資料管理、培訓方法等提高核心元件的有效性。
3. 任務規劃：開發錯誤檢測、程式碼庫管理和最佳化的能力。
4. 評估：建立全面的評估指標以更好地理解和改進我們的模型。

技術棧

• 沙箱環境：使用 Docker 和 Kubernetes 等技術確保程式碼的安全執行。
• 前端介面：開發使用者友好的介面，用於監控進度並與 Devin 互動，可能利用 React 等框架或建立 VSCode 外掛以獲得更整合的體驗。

5、VoiceCraft
零次語音編輯和文字轉語音。VoiceCraft: 文字生成任何人的語音技術

6、Lightning-thunder
讓 PyTorch 模型快如閃電！使 PyTorch 模型速度提高 40%！ Thunder 是 PyTorch 的源到源編譯器。它允許同時使用不同的硬體執行器；跨一個或數千個 GPU。

• 它透過同時組合和使用不同的硬體執行器（例如nvFuser、torch.compile、cuDNN和TransformerEngine FP8）來提高 PyTorch 程式的速度。
• Thunder還支援DDP和FSDP等分散式策略，用於在多個GPU上訓練模型。

Thunder 內部：核心功能簡介

給定一個 Python 可呼叫或 PyTorch 模組，Thunder 可以生成一個最佳化的程式：

• 計算其前向和後向傳遞
• 將操作合併到高效的融合區域
• 將計算分派給最佳化的核心
• 在機器之間最佳地分配計算

• 用於獲取針對 PyTorch 和自定義操作的 Python 程式的 JIT
• 多級中間表示 (IR)，將操作表示為縮減操作集的蹤跡
• 計算圖軌跡上的一組可擴充套件變換，例如grad、融合、分散式（如ddp、fsdp）、函式（如vmap、vjp、jvp）
• 一種將操作分派給可擴充套件執行器集合的方法

7、rever_ai
透過在消費類硬體上使用本地大語言模型 (LLM) 提供自動化逆向工程幫助。

核心特點

• 離線操作：完全在本地CPU/GPU上執行LLM，確保資料隱私和安全。
• 自動函式命名：從反編譯器輸出中自動建議具有語義意義的函式名稱。
• Binary Ninja 整合：作為外掛與 Binary Ninja 無縫整合。
• 模組化架構：專為輕鬆擴充套件而設計，以支援 IDA 和 Ghidra 等其他逆向工程工具。
• 消費類硬體相容性：經過最佳化，可在消費級硬體（例如 Apple 晶片架構）上執行。

為了在消費級硬體上獲得最佳的 LLM 效能，建議使用多個 CPU 執行緒或強大的 GPU 進行設定。ReverserAI在至少具有 16 GB RAM 和 12 個 CPU 執行緒的系統上高效執行，查詢大約需要 20 到 30 秒。 GPU 最佳化（尤其是在 Apple 晶片裝置上）可以將每個查詢的時間減少到 2 到 5 秒。

8、Leaping
Leaping 的 pytest 偵錯程式是一個簡單、快速、輕量級的 Python 測試偵錯程式。 Leaping 跟蹤程式碼的執行，並允許您使用基於 LLM 的自然語言偵錯程式隨時追溯檢查程式的狀態。

您可以詢問 Leaping 問題，例如：

• 為什麼我沒有點選函式 x？
• 為什麼變數 y 設定為這個值？
• 此時變數 x 的值是多少？
• 我可以對此程式碼進行哪些更改才能使該測試透過？

9、Tracecat
Tines / Splunk SOAR 原生開源替代品。 

它的設計簡單但功能強大。安全自動化應該可供每個人使用，包括尤其是人手不足的中小型團隊。

SOAR （安全編排、自動化和響應）是指使組織能夠跨不同工具自動收集和響應警報的技術。儘管 Tracecat 是為了安全性而構建的，但它的工作流程自動化和案例管理系統可以應用於其他警報環境（例如站點可靠性工程、DevOps 和物理系統監控）。

Tracecat是一個面向安全團隊的開源自動化平臺。我們正在構建 Tines / Splunk SOAR 的功能：

• 企業級開源工具
• 開源 AI 基礎設施和 GPT 模型
• 痴迷於從業者的 UI/UX

構建人工智慧輔助工作流程、豐富警報並快速結案。

• 工作流程
  
  • 拖放構建器
  • 核心原語（webhook、HTTP、if-else、傳送電子郵件等）
  • AI 操作（標籤、總結、豐富等）
  • 秘密
  • 批流資料轉換（預計 2024 年 4 月）
  • 公式（預計 2024 年 5 月）
  • 版本控制（預計 2024 年 6 月）
• 案例管理
  
  •  SMAC（狀態、惡意、操作、上下文）
  • 抑制
  • 重複資料刪除（預計四月第一週）
  • AI輔助標記（例如MITRE ATT&CK）
  • 指標
  • 分析儀表板
• 事件日誌
  
  • 無限日誌儲存
  • 日誌搜尋
  • 視覺檢測規則
  • 管道查詢語言
• 資料驗證
  
  •  Pydantic V2用於後端的快速資料模型和輸入/輸出驗證
  •  Zod用於前端的快速表單和輸入/輸出驗證
• 團隊
  
  • 合作
  • 租戶
• 人工智慧基礎設施
  
  • RAG 載體資料庫
  • LLM評估和安全
  • 帶上你自己的大模型（OpenAI、Mistral、Anthropic 等）

10、rag-search
RAG 搜尋 API。

RAG Search API by thinkany.ai

11、featup
適用於任何解析度特徵的模型無關框架。
FeatUp 將任何模型特徵的空間解析度提高了16-32 倍，而無需改變其語義。

深度特徵是計算機視覺研究的基石，它能捕捉影像語義，使研究人員即使在零鏡頭或少鏡頭的情況下也能解決下游任務。然而，這些特徵往往缺乏空間解析度，無法直接執行密集預測任務，如分割和深度預測，因為模型會在大面積區域內積極彙集資訊。

在這項工作中，我們引入了 FeatUp，這是一個與任務和模型無關的框架，用於恢復深度特徵中丟失的空間資訊。

我們引入了 FeatUp 的兩種變體：

• 一種是在單次前向傳遞中引導具有高解析度訊號的特徵，
• 另一種是將隱式模型擬合到單幅影像，以重建任何解析度的特徵。
•  

我們的研究表明，在類啟用圖生成、分割和深度預測的遷移學習以及語義分割的端到端訓練方面，FeatUp 明顯優於其他特徵上取樣和影像超解析度方法。