SAM 2.1上新、Lingua程式碼庫釋出，一大波Meta開源工具來襲

机器之心發表於2024-10-19
開源工具
今天，Meta 分享了一系列研究和模型，這些研究和模型支撐 Meta 實現高階機器智慧（AMI）目標，同時也致力於開放科學和可復現性。

這些工作側重於 AMI 的構建模組，包括感知、語音和語言、推理、具身智慧和對齊。研究工作包括 SAM 2.1、Spirit LM、Layer Skip、自學習評估器等。
圖片
SAM 2.1

SAM 2 已經被應用於跨學科（包括醫學影像、氣象學等）研究，並且產生了良好的影響。現在，Meta 宣佈推出效能更強的 SAM 2.1。SAM 2.1上新、Lingua程式碼庫釋出，一大波Meta開源工具來襲
Meta 引入了額外的資料增強技術來模擬 SAM 2 之前遇到的視覺相似物體和小物體的存在，透過在較長的幀序列上訓練模型並對空間和物體指標記憶體的位置編碼進行一些調整，提高了 SAM 2 的遮擋處理能力。
圖片
  • 專案連結：https://github.com/facebookresearch/sam2

Spirit LM

大型語言模型經常被用於構建文字到語音 pipeline，其中語音透過自動語音識別 (ASR) 進行轉錄，然後由 LLM 生成文字，最終使用文字到語音 (TTS) 轉換為語音。然而，這個過程損害了語音表達。

為了解決這一限制，Meta 構建了開源多模態語言模型 Spirit LM，實現了語音和文字的無縫整合。SAM 2.1上新、Lingua程式碼庫釋出，一大波Meta開源工具來襲
Spirit LM 在語音和文字資料集上使用詞級交織方法進行訓練，以實現跨模態生成。Meta 開發了兩個版本的 Spirit LM，以展示文字模型的語義生成能力和語音模型的表達能力。
圖片
  • 論文連結：https://arxiv.org/abs/2402.05755
  • 程式碼連結：https://github.com/facebookresearch/spiritlm
  • 模型權重：https://ai.meta.com/resources/models-and-libraries/spirit-lm-downloads/

Layer Skip

大型語言模型已在各個行業中廣泛採用，但其高計算和記憶體要求會消耗大量能源，並且可能帶來高昂的經濟成本。為了應對這些挑戰，Meta 提出了一種端到端解決方案 ——Layer Skip，以加快 LLM 在新資料上的生成時間，而無需依賴專門的硬體或軟體。SAM 2.1上新、Lingua程式碼庫釋出，一大波Meta開源工具來襲
圖片
  • 論文連結：https://arxiv.org/abs/2404.16710
  • 程式碼連結：https://github.com/facebookresearch/LayerSkip
  • 權重連結：https://huggingface.co/collections/facebook/layerskip-666b25c50c8ae90e1965727a

Layer Skip 透過執行其層的子集並利用後續層進行驗證和校正來加速 LLM。現在，Meta 又要釋出 Layer Skip 的推理程式碼和微調檢查點。Llama 3、Llama 2 和 Code Llama 等模型已經使用 Layer Skip 進行了最佳化。Layer Skip 可以將模型效能提升高達 1.7 倍。

Lingua

Lingua 是一個輕量級且獨立的程式碼庫，旨在助力大規模訓練語言模型。Lingua 將使人們更容易將概念轉化為實際實驗，並優先考慮簡單性和可複用性以加速研究。高效且可定製的平臺還允許研究人員以最少的設定快速測試他們的想法。
圖片
  • 專案連結：https://github.com/facebookresearch/linguaSAM 2.1上新、Lingua程式碼庫釋出，一大波Meta開源工具來襲
    MEXMA

    MEXMA 是一種新型預訓練跨語言句子編碼器。在訓練過程中，透過結合 token 層級和句子層級的目標，MEXMA 的表現優於以往的方法。

    研究團隊發現，之前用於訓練跨語言句子編碼器的方法僅透過句子表徵來更新編碼器，而透過引入 token 層級的目標，研究者可以更好地更新編碼器，從而改進效能。
    圖片
    MEXMA 覆蓋了 80 種語言，並且在句子分類等下游任務中表現出色。
    圖片
    • 論文連結：https://arxiv.org/abs/2409.12737
    • 模型連結：https://huggingface.co/facebook/MEXMA
  • 程式碼連結：https://github.com/facebookresearch/mexma

自學習評估器

Meta 在 8 月發表了一篇題為《Self-Taught Evaluators》的論文，提出了自學習評估器，用於生成合成偏好資料來訓練獎勵模型，無需依賴人工標註。
圖片
  • 論文連結：https://arxiv.org/abs/2408.02666
  • 程式碼連結：https://github.com/facebookresearch/RAM/tree/main/projects/self_taught_evaluator
  • 訪問合成資料：https://huggingface.co/datasets/facebook/Self-taught-evaluator-DPO-data
  • 模型連結：https://huggingface.co/facebook/Self-taught-evaluator-llama3.1-70B

同時，Meta 釋出了使用直接偏好最佳化訓練的模型。實驗結果表明，在 RewardBench 上，雖然在訓練資料建立中未使用任何人工標註，但其表現優於更大的模型或使用人工標註標記的模型，如 GPT-4、Llama-3.1-405B-Instruct 和 Gemini-Pro。

圖片

參考連結：
https://ai.meta.com/blog/fair-news-segment-anything-2-1-meta-spirit-lm-layer-skip-salsa-lingua/?utm_source=twitter&utm_medium=organic_social&utm_content=thread&utm_campaign=fair

相關文章