開源模型 Zephyr-7B 釋出——跨越三大洲的合作

HuggingFace發表於2023-11-09

最近我們剛剛釋出了新的開源模型 Zephry-7B?,這個模型的誕生離不開全球三大洲開源社群的協作 ❤️。

我們的 CSO Thomas 錄了一個影片介紹了它的起源故事:

✨ 就在幾個月前,巴黎的一個新團隊釋出了他們首個模型: Mistral 7B,這個模型體積小巧但效能強勁,在基準測試中的表現超過了所有同類模型。而且這是個開源模型,這意味著大家都可以在此基礎上進行開發。

✨ 開發者 Lewis 在瑞士伯爾尼,Ed 在法國南部里昂,他們倆都是 Hugging Face H4 團隊的一員。在 Hugging Face 舉辦的一次小聚中,他們邊喝咖啡邊討論用史丹佛大學新發表的 DPO 方法對模型進行微調的可能性。於是大家決定用他們已經構建好的程式碼庫來嘗試一下?

✨接下來的一天,他們在 HF hub 上找到了一些公開的資料集,主要是由清華的 OpenBMB 團隊新近開源的兩個大型、高質量的微調資料集: UltraFeedback 和 UltraChat ?

✨ 經過幾輪訓練實驗,他們的想法得到了證實: 這個新模型非常強大,在伯克利和史丹佛的基準測試中是他們見過的最強模型。Clémentine 是 Hugging Face Open LLM Leaderboard 的領頭人,她對模型的深入分析確認了其卓越效能。於是 H4 團隊中另一位成員 Sasha Rush 教授迅速起草了一篇研究報告,將所有細節分享給整個社群 ?

✨ 幾天後,這個名為 Zephyr 的模型、研究論文以及所有細節都向世界公開了。不久之後,全球各地的公司開始應用這一模型。LlamaIndex,一個知名的資料框架和社群,分享了這個模型在實際用例基準測試中超乎預期的表現。與此同時,研究者和實踐者們在 Hugging Face hub 上討論著這篇論文和相關工作。

✨ 很難相信,這一切的實現僅僅用了幾周時間 ?!這一切都得益於世界各地 (歐洲、加利福尼亞、中國) 對知識、模型、研究和資料集的開放,以及開源社群之間的相互協作 ?

✨ 這樣的故事在開源社群比比皆是,也正是這些人和事讓開源社群始終保持不斷創新的原動力 ?

✨ 齊心協力,我們可以一起創造出驚人的成果 ❤️

相關文章