Meta開源其類似GPT-3的語言模型 - Reddit

banq發表於2022-05-05
GPT模型

Facebook 剛剛釋出了與 GPT-3 相當的語言模型 Open Pretrained Transformer (OPT-175B)。
優點是：模型大小比GPT-3小，只有125M引數的模型，可供任何人使用。

Meta還提供了一個負責任的人工智慧準則，並在訓練模型時尊重該準則。
有這麼一套深入細緻的指南來指定實現這些模型，是相當了不起的。
這才是真正的開源，而不是OpenAI在推出時的做法，OpenAI實際上是一個封閉的盒子，沒有辦法檢查他們提供給我們的資訊。

我的意思是，我認為這仍然是一個有爭議的空間，隨著我們推出越來越多的這些更大、更強大的語言模型，限制它們的毒性和偏見將是一個相當重要的挑戰，但我認為這絕不是不可能。
在這個意義上，OPT文件做得很好，MetaAI公佈了OPT-175的日誌。他們在這個模型構建的許多步驟中都是高度透明的。

。今天，我和我的NLP資料科學家朋友開玩笑說："我們甚至不知道。開放式人工智慧可能會給我們一些手動建立的結果！？沒有辦法仔細檢查。他們只是希望我們相信他們。"當然我是在開玩笑，但我們。

是蛋糕上的冰。

我還沒有變化來測試OPT。我在等待週末的到來。
 

相關文章