機器之能報導
編輯：吳昕
很少有人注意到 Claude 3 兼顧安全的努力以及背後深刻動機。還有他們客戶群體的特點。
Claude 3繪製的它自己，在社交媒體上廣為流傳。
GPT-4 結束了“獨孤求敗”的日子。
前幾天，OpenAI 最大的競爭對手 Anthropic 釋出了新一代 AI 大模型系列 —— Claude 3。該系列包含三個“杯型”，按能力由弱到強（價格由低到高）排列分別是 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。
其中，能力最強的 Opus 在多項基準測試中得分都超過了 GPT-4 和 Gemini 1.0 Ultra，在數學、程式設計、多語言理解、視覺等多個維度樹立了新的行業基準。
Anthropic 表示，Claude 3 Opus 擁有人類本科生水平的知識。
這兩天各種體驗案例洶湧而至，讚歎聲絡繹不絕。除了聰明，很少有人提及與其他競爭對手相比，Claude 的另一個重要優勢——它不太可能說出有害的話，部分原因是它有一種名為“憲法 AI ”的訓練技術：
先給模型頒佈一份“憲法”，然後告訴它儘可能遵循這些原則。“憲法”條款來源比較多元——從聯合國人權宣言到社交媒體社群規則，還包括 Anthropic 自己定的規則。然後使用第二個 AI 模型來評估第一個模型的“合憲程度”，在必要時對其進行糾正。
儘管如此，他們仍然會在釋出前夜感到緊張和高壓。去年夏天， Claude 2 釋出前夜，一群表情焦躁的工程師不斷討論釋出當天可能出現的各種問題。如果新使用者的激增壓倒了公司的伺服器怎麼辦？如果模型不小心威脅或騷擾別人，造成（微軟必應式）的公關難題怎麼辦？
在一間會議室裡，Anthropic CEO Dario Amodei 也在仔細研究自己心中的潛在災難清單，他總是會擔心這個模型會不會做一些大家沒有注意到的可怕事情？
當時，他們花了幾個月才將 Claude 2 推出去，部分原因是公司的紅隊成員不斷想出新的方法，讓它可能變得危險。
某種意義上，這種對 AI 的擔憂正是 Anthropic 存在的原因。這是由一群前 OpenAI 員工於 2021 年創立的公司，由於越來越擔心 OpenAI 變得過於商業化，他們宣佈分拆出去、組建自己的 AI 企業，稱為“ AI 安全實驗室”。
CEO Dario Amodei 今年 41 歲，是普林斯頓大學畢業的物理學家，曾領導開發 GPT-2 和 GPT-3 的 OpenAI 團隊。他的妹妹 Daniela Amodei 今年 36 歲，曾負責監督 OpenAI 的政策和安全團隊，也是公司總裁。
幾位聯合創始人研究了所謂的“神經網路縮放定律”—— 依據其揭示的數學相關性，AI 研究人員可以根據其訓練的資料量和算力來預測 AI 模型能力。他們在 OpenAI 就發現，只需為模型提供更多資料並新增更多算力，就能讓模型更智慧，而無需對底層架構進行重大更改。他們也擔心，如果這些機構繼續製造越來越大的模型，很快會達到一個危險的臨界點。
起初，他們考慮使用其他公司的 AI 模型進行安全研究。但很快發現此路不通，搞尖端的安全研究得有自己的基礎模型（費曼學習法？），這又帶來一個更為現實的難題——怎麼籌錢購買貴得要死的 GPU？
權衡下來，他們決定將 Anthropic 變成一家公益企業（ a public benefit corporation ）。根據當地法律，這種新企業形態將使他們能夠兼顧利潤和社會責任（所謂的初心）。他們把自家 LLM 命名為 Claude ， 被賦予樂於助人、無害和誠實的使命。
Dario Amodei 在唐寧街10號與英國首相見面交流。Anthropic對安全的痴迷對公司的形象有好處，特別是加強了對監管機構還有立法者的吸引力。
“沒有一個主流 AI 實驗會像 Anthropic 那樣完整體現出有效利他主義。”《紐約時報》在去年的一篇報導中評價說。
對於有效利他主義者而言，一個很重要的目標就是改善這個世界，而且做到越有效率越好。這意味著他們會透過理性分析、衡量狀況，確保手中資源能夠發揮最大效益，以實現目標。
《紐約時報》記者發現，公司的許多早期員工都是有效利他主義者，大部分啟動資金也來自有效利他主義陣營裡一群富有的科技高管，其中包括 Facebook 聯合創始人 Dustin Moskovitz、 Skype 聯合創始人 Jaan Tallinn。2022 年，Anthropic 收到了 Sam Bankman-Fried 的支票——失敗的加密貨幣交易所 FTX 創始人，在他的帝國崩潰之前，他向 Anthropic 投資了 5 億多美元。
Anthropic 對安全的痴迷對公司的形象有好處（特別是對立法者和監管者而言），但也被質疑放慢了模型進化速度，影響模型表現。
最早的 Claude 就比較沉悶和愛說教，在一些眾籌的人類評估榜單上，Claude 2 還沒 Claude 評級高，雖然 Claude 2 更安全。不過，Claude 3 在兼顧安全護欄和使用者體驗上要比前輩做得更好。Anthropic表示，靠近安全護欄但實際無害卻被 Claude 3 拒絕的 Prompts 大概有 10%，而 Claude 2.1 有 25%。
由此，同樣注重安全的企業使用者也順理成章地成為他們的主要客戶—— 出售給大公司，或將大模型變成利潤豐厚的訂閱產品，這與專注消費者市場 Infection AI、Character AI 甚至 Open AI 等對手有所不同。兩位瞭解其財務狀況的人士告訴《紐約時報》，該公司去年月收入約為 800 萬美元，預計今年將增長約 8 倍。
Claude 的客戶包括科技公司Gitlab、Notion、Quora 和Saleforce（也是Anthropic 的投資人）；金融巨頭橋水基金、SAP 以及商業研究門戶網路 LexisNexis、SK 電信和全美最佳癌症醫院之一丹娜-法伯癌症中心。
Claude 3 也更多考慮了企業使用者。比如，Claude 3 Opus 主要瞄準那些需要從事非常前沿的複雜資料分析、生物醫學研究的企業。Sonnet 便宜了很多，用於更為常見的應用，比如大型資料的儲存與搜尋、銷售預測和程式碼生成。Haiku 最便宜， 主要用與客戶實時交流，比如物流查庫存、內容稽核。
最近，Anthropic 又以 184 億美元的估值籌集了 7.5 億美元（至此，他們在一年內獲得了 73 億美元的融資），計劃在未來幾個月增加程式碼解釋、搜尋和資源引用等功能。
史丹佛大學電腦科學教授 Percy Liang 曾表示“讚賞 Anthropic 對 AI 安全的承諾”，但也擔心該公司會陷入商業壓力，要求釋出更大、更危險的模型。Dario Amodei 對於這些擔憂的回應是，想要與 OpenAI 和其他頂級實驗室競爭的主要原因不是為了賺錢，而是為了更好地進行安全研究。
他們相信他們正在採取正確的預防措施，最終，他們希望他們對安全的痴迷能在矽谷更廣泛地流行起來。“我們希望會有一場安全競賽，”Anthropic 聯合創始人之一 Ben Mann 去年在接受《紐約時報》採訪時曾說。“我希望不同的公司會說，'我們的模型是最安全的。然後另一家公司會說，'不，我們的模型是最安全的。”
參考連結
https://www.forbes.com/sites/alexkonrad/2024/03/04/anthropic-releases-claude-3-claims-beat-openai/?sh=7516bea957bc&utm_campaign=socialflowForbesMainTwitter&utm_source=ForbesMainTwitter&utm_medium=social
https://www.nytimes.com/2023/07/11/technology/anthropic-ai-claude-chatbot.html
https://www.nytimes.com/2024/02/20/technology/anthropic-funding-ai.html?utm_source=pocket_saves