Grok 在 xAI 建立的大型語言模型上執行,該模型名為 Grok-1,僅用了四個月時間就建成了,Grok-1 的上下文長度為 8,192 個token,是 63.2B 引數。
該團隊最初使用的是 Grok-0,這是一個擁有 330 億個引數的原型模型。
根據 xAI 網站的介紹,Grok-0 的效能可與 Meta 的 Llama 2 相媲美,但體積只有後者的一半。XAI 隨後對原型模型的推理和編碼能力進行了磨練,創造出了 Grok-1。
在效能方面,Grok-1在HumanEval編碼任務中取得了63.2%的成績,在流行的MMLU基準測試中取得了73%的成績。
網友:
1、該專案顯然沒有給人留下深刻印象,很可能被取消。他們知道這永遠不會給他們帶來任何錢,所以他們透過“贈送”給開源人員不會有任何損失。馬斯克想讓他的“敵人”看起來很糟糕。
2、讓我們忽略圍繞馬斯克的所有爭議,而是關注這裡每個人都應該同意的一個事實:開源模型是一件好事。
3、據 Alex Heath(The Verge 副編輯)稱,Grok 只是經過微調的 Llama
4、有趣的是,由於 Grok 主要用於實時資料,這意味著在那裡完成了某種 RAG,這意味著該模型可能最適合 RAG 用例。