Meta 僅在三天前釋出了 Llama-3，感覺開源模型最終縮小了與專有模型的差距已經是一個拐點。初始基準測試顯示 Llama-3 70B 在許多工中與 GPT-4 非常接近：
- 官方Meta 頁面僅顯示 Llama-3 優於 Gemini 1.5 和 Claude Sonnet。
- 人工分析表明 Llama-3 的質量介於 Gemini-1.5 和 Opus/GPT-4 之間。
- 在LMSYS Chatbot Arena 排行榜上，Llama-3 排名第 5，而當前的 GPT-4 模型和 Claude Opus 仍並列第 1。
更強大的 Llama-3 400B+ 模型仍在訓練中，釋出後很可能超越 GPT-4 和 Opus。
Meta 與 OpenAI
有人猜測，Meta 從一開始的目標就是以“焦土”的方式瞄準 OpenAI，釋出強大的開放模型，擾亂競爭格局，避免在 AI 競賽中落後。
Meta 在計算和人才方面的支出可能會超過 OpenAI：
- OpenAI 的預計收入為 20 億美元，並且可能無利可圖。 2023 年，Meta 的收入為 $134B，利潤為 $39B。
- 目前，Meta 的計算資源可能超過 OpenAI。
- 開源可能會吸引更好的人才和研究人員。
一種可能的結果是微軟收購 OpenAI 以趕上 Meta。谷歌也在進軍開放模型領域，並擁有與 Meta 類似的功能。看看它們適合什麼位置將會很有趣。
贏家：開發者和人工智慧產品初創公司
隨著 Llama-3 的釋出，開發者的機會更大：
- 不再有供應商鎖定。
- 開發人員現在可以以非常經濟高效且高效能的方式將人工智慧深度整合到他們的產品中，而不僅僅是包裝專有的 API 端點。 Hugging Face 上已經有超過 800 個llama-3 模型變體，看起來每個人都可以根據自己的使用案例、語言或行業進行微調。
- 更快、更便宜的硬體：Groq 現在每秒可以生成 800 個 llama-3 代幣，而成本只是 GPT 成本的一小部分。以低廉的價格提供近乎即時的法大模型課程即將到來。
視覺和影片的開源多模態模型仍然需要迎頭趕上，但我預計這很快就會發生。
Llama-3 的釋出標誌著人工智慧民主化的一個重要里程碑，但現在宣佈專有模型的消亡可能還為時過早。誰知道呢，也許 GPT-5 會給我們所有人帶來驚喜，超越我們對 Transformer 模型的想象。
這絕對是人工智慧領域的超級激動人心的時刻！
網友討論：
1、作為我工作的一部分，我非常密切地關注 Meta 的研究，特別是他們的開源研究。作為參考，我是一名智慧財產權律師，從事與贊助研究相關的許可工作。
Meta 的開源戰略目前已擴充套件到多個領域。
從歷史上看，Meta 透過 FAIR 參與開源工作已有多年（可追溯到 2013 年）。大約兩年前，Meta 還設立了一個開源總顧問職位，負責處理許多此類問題。他們還與研究機構和大學合作，共同推動開源模式，即研究人員提前承諾開源任何相關研究。
這基本上為 Meta 免費提供了為其商業模式量身定製的程式碼和資料（根據美國國稅局的規定，外部研究贊助商通常需要單獨支付許可費），但他們也可以避免內部研發可能產生的許多稅費，因為大部分時間都是透過非營利性研究機構進行的。
帖子中關於 Meta 焦土戰略的另一點也是一個很好的觀點。在經歷了多年的爭議之後，這種免費提供一切的做法也有助於重塑 "Meta"/"Facebook "的形象。儘管如此，在我看來，這並不像看上去那麼出於善意。開源技術為企業帶來了約 8.8 萬億美元的收益。
總的來說，我認為這是 Meta 一直以來奉行的非常有效的商業戰略，但他們絕對沒有像許多其他開源支持者那樣，以更高的道德正義目標為動力。在很大程度上，他們仍然是一家以股東至上和極具侵略性的戰略為主導的公司，很少考慮其他 B 類公司的道德目標。
2、深度學習進步如此之快的主要原因要歸功於 LeCun、Hinton 和 Bengio 從一開始就推動開放科學。
Facebook 也長期以來一直是開源領域的領導者，例如 Reactjs 和 PyTorch。
Meta 的所有收入都來自廣告，大多數初創公司將 30-60% 的風險投資資金花在廣告上，而像 Llama 這樣的開源模型有助於做大蛋糕，這對 Meta 有利。
3、Meta 是大型科技公司中唯一不需要圍繞 LLM 建立平臺的公司。在 Facebook、Instagram、WhatsApp、Threads 和 Metaverse 中，聊天機器人都有一個天然的家園。其他公司則必須建立平臺，並將使用者引入。
- OpenAI 不得不建立 ChatGPT 和 GPT，
- Anthropic 不得不為 Claude 建立一個平臺，
- 谷歌不得不建立一個Gemini 雙子座介面。
Meta 公司本可以採取陳舊的策略，透過私人 LLM 提高使用者參與度，但透過開放模型權重，他們將目光投向了更遠大的目標。他們並沒有把我們束縛在 Meta 平臺上。這在一定程度上體現了利他主義。
在 Mistral 走了另一條路之後，這種做法更值得稱讚。
因此，我很欣賞這一舉措。它並不完美，但總比沒有 LLaMA 好得多。
4、他們這樣做是因為公開開源會削弱他們認為是競爭對手的公司（例如谷歌），同時增強不與之競爭的公司（例如一百萬家小型人工智慧初創公司）
這是一個很好的商業策略。不要試圖主宰這個領域，而是要阻止你的競爭對手這樣做
5、關於 Llama-3 的主題，如果有人想在免費的 Colab 中試驗 Llama-3 8b，Unsloth可以使微調速度提高 2 倍，並且使用的 VRAM 減少 63%。推理速度也快了 2 倍。
6、這始終是一場計算遊戲。從長遠來看，meta 和 google 不會輸。
7、Llama 3 不會殺死正規的人工智慧初創公司，因為有很多企業擁有美元，但缺乏知識/專業知識/意願來執行模型本身。與針對特定用例進行相應的驗證+資料收集等操作相同。
也就是說，Llama 3 的現有將使這些初創公司的銷售週期變得更加困難，因為他們無法以“擁有最好的型號（針對特定類別）”作為賣點。
這些公司很快就會倒閉嗎？可能不會。他們籌集的資金非同小可，公司需要一段時間才能耗盡這筆資金。
也就是說，如果目前進行 LLM 預培訓的初創公司中有一半以上在 5 年後仍然存在，我會感到非常驚訝。
8、無論做什麼，大型科技公司在顛覆性創新方面本質上都比較慢。他們只能購買/與創新型初創公司合作。
9、Llama-3 落後了一年。雖然目前感覺像是一個領導者，但 GPT-4 此時已經存在一年多了。幾個月後，GPT-X 和 Mixtral-Y 將取代它。
10、Llama-3 不是開源的！
Matt White 在 LinkedIn 上給出了很好的回答：“開源許可證由 OSI 維護。https://opensource.org/license。 Llama 3 社群許可證引用了 AUP，具有需要協商新許可證的觸發條款，並且包含違反開放性原則的使用限制，即可以不受限制地將軟體用於任何目的。 “
11、服務提供商與模型製造商分開也是件好事。即使你不想自己託管模型，你也可以呼叫其他人託管的模型的 API，而其他人不會是 Facebook。這是非常需要的權力分離。當然，更多的開源和更多的模型控制會更好，但當前的系統仍然在執行，並且開放模型在使用和功能上擊敗了封閉模型。
12、Meta 必須真正超越 GPT-5 或 Claude 才能“殺死”他們。人們想要最好的，而不是“令人驚訝地非常接近 SOTA 和開源”。
13、“Meta vs OpenAI”似乎是蘋果與金橘的比較。
整個思路取決於 OpenAI 是一家語言模型公司的理念。事實並非如此。 OpenAI 製作語言模型是為了進一步研究 AGI，並不是因為這是他們的主要業務。 OpenAI 的核心仍然主要是對研發感興趣，他們的 API 主要是一種賺取微薄資金以償還微軟的手段。