重磅發現！DeepSeek R1方法成功遷移到視覺領域，多模態AI迎來新突破！

嘿，各位開發小夥伴，今天要給大家安利一個全新的開源專案 ——VLM-R1！它將 DeepSeek 的 R1 方法從純文字領域成功遷移到了視覺語言領域，這意味著開啟了對於多模態領域的想象空間！

這個專案的靈感來自去年 DeepSeek 開源的那個 R1 方法，靠著 GRPO（Generative Reward Processing Optimization）強化學習方法，在純文字大模型上取得了驚人的效果。

現在，VLM-R1 團隊直接把它應用到了視覺語言模型上，開啟了一扇新的大門！

VLM-R1 驗證結果驚豔

這個專案的團隊在 Qwen2.5-VL 的基礎上，同時對比了 R1 和傳統的 SFT 方法。結果相當驚豔：

1、穩定性拉滿：R1 方法在各種複雜場景下都能保持穩定的高效能，這在實際應用至關重要！

2. 泛化能力卓越：更讓人震驚的是，在領域外的測試資料上，隨著訓練步數增加，傳統 SFT 模型的效能開始下滑，而 R1 模型卻能持續提升！這意味著 R1 方法幫助模型真正 “學會” 了理解視覺內容，而不是簡單地記憶！

^{（訓練和測試領域的差異對比）}

^{（泛化性對比，綠線是 VLM-R1，在領域外泛化性顯著更優）}

3、上手超簡單：VLM-R1 專案團隊還貼心地提供了完整的訓練和評估流程，四步就能開始訓練，對開發者十分友好。

小編親測之後，在此分享一個實際案例，結果讓人意外。

圖片裡展示了一桌子豐盛的美食，包括各種蔬菜、麵餅和點心。針對圖片，我們向模型提出了一個問題：“在圖片中找出蛋白質含量最高的食物”。

模型不僅回答得準確：

“圖片中展示了桌上的各種菜品，包括蔬菜、麵餅和點心。從蛋白質含量來看，麵餅或麵點可能含量最高，因為它們通常由全穀物製成，麵粉中含有蛋白質。雖然蔬菜也含有蛋白質，但比起這些主食來說含量較少。”

更厲害的是，它還精準地在圖片中框選出了那個蛋白質含量最高的雞蛋餅！

這種精確的視覺理解能力和推理能力，讓人印象深刻！

完美展示了 VLM-R1 在實際應用中的優勢：

全新思路

作為一個 AI 領域的觀察者，VLM-R1 的出現也為開發者和行業提供了許多新的思路，比如：

1、證明了 R1 方法的通用性，不止文字領域玩得轉；

2、為多模態模型的訓練提供了新思路；

3、或許能夠引領一種全新的視覺語言模型訓練潮流；

完全開源

最棒的是，這個優秀的專案完全開源！

專案地址：[VLM-R1](https://github.com/om-ai-lab/VLM-R1)

對視覺語言模型感興趣的同學，強烈建議去看看這個專案。說不定你的下一個突破性研究就從這裡開始！

最後，期待看到更多開發者加入進來，一起推動多模態 AI 技術的發展。如果你也對這個專案感興趣，歡迎加群討論！

相關文章