合理解釋：為什麼安全不再是OpenAI關注焦點?

這裡有一個合理解釋（點選標題）：解釋了為什麼安全不是 OpenAI 關注的焦點。

超級對齊團隊離開 OpenAI 有很多荒謬的原因解釋，他們離開openAI更可能的原因：

• 首選，肯定不是因為首席科學家伊利亞Ilya 和 Jan 看到一些他們無法處理的超級先進人工智慧的出現
• 進一步：隨著認知失調 的出現，OpenAI和其他構建現實世界人工智慧的實踐團隊意識到：這種超級智慧機器崛起並失控的幻想是在浪費時間、金錢和資源。

因此，他們其實是在慢慢地且正確地耗盡了該團隊的計算能力，而這些計算能力本可以用來做更有用的事情，比如為他們的產品構建功能，而這正是 AI 產品本來應該有的樣子。

以上觀點被AI權威Yann LeCun認同：

• Yann LeCun是一位傑出的法國人工智慧科學家,被譽為"卷積神經網路之父"。
• 現任Meta(Facebook)首席人工智慧科學家和副總裁,曾幫助建立Meta AI研究實驗室
• LeCun被認為是世界上最重要的人工智慧研究者之一,在機器學習、計算機視覺、移動機器人和計算神經科學等領域都有卓越貢獻。他的工作推動了人工智慧影像分析技術的突破,對深度學習的發展具有里程碑式的影響

網友討論：

1、OpenAI離職的首席科學家伊利亞貢獻：

• 他作為 OpenAI 聯合創始人兼首席科學家的經歷
• 他主要參與了所有現代 LLM AI 中涉及的 Transformer 模型的開發，該模型透過實現更高效和有效的大型語言模型訓練，徹底改變了自然語言處理
• 他對深度學習的許多貢獻
• 他在序列到序列模型方面的關鍵工作，特別是機器翻譯，對機器如何理解和生成人類語言產生了重大影響，並且是文字生成的基礎
• 他明確而直接地優先推動與人工智慧安全、道德和人工智慧社會影響相關的討論和研究，包括將 OpenAI 20% 的算力投入超級對齊計劃，以盡最大努力確保我們能夠讓人工智慧完美對齊即使達到了超級智慧，尤其是達到了超級智慧。

2、這種解釋來自加速主義世界觀，與祖克伯是同一陣營。
我不再信任Yann LeCun，就像我不再信任 Zuck 和他虛假的仁慈的“開源”推動一樣。
正是這個人稱他的使用者群是一群信任他的傻瓜。

3、事情並非如此。羅素的茶壺本質上是在說，你不能憑空捏造出一些無稽之談，並聲稱它是真的。這裡的情況並非如此。

羅素的茶壺是哲學家伯特蘭·羅素提出的一個著名比喻,用來批評宗教信仰和超自然主張的不可證偽性。

羅素假設有人聲稱在地球和火星之間有一個瓷制的茶壺沿橢圓軌道繞太陽執行,而且這個茶壺太小了,即使用最強大的望遠鏡也無法觀測到。如果這個人指望別人相信他的理由,僅僅是因為沒有人能證明這個宣告是錯誤的,那顯然是荒謬的

這個比喻的關鍵在於,提出一個不可證偽的主張的人,應該負有證明自己主張的責任,而不是要求別人來證偽。否則任何人都可以隨意發明一些荒謬的說法,並要求別人證明它們是錯誤的。

羅素用這個比喻來批評宗教信仰和超自然主張,認為它們往往是不可證偽的,但信徒卻要求別人證偽,這與理性思維是相悖的。他認為,相比之下,一個沒有超自然存在的宇宙更加簡單,更符合奧卡姆剃刀 原則

對齊是一個問題的概念抽象，它是這個領域的專家們廣泛承認的一個潛在問題，幾十年來一直備受關注，一些證據表明很有可能存在問題。這並不意味著一定會有問題，但可能性不為零。

這與羅素的茶壺的區別在於：實際上有一些資料表明可能會有問題。即使這個機率可能很低，但它仍然大大高於非零機率，而第二類錯誤與第一類錯誤相比，其代價是天文數字。

因此，在計算準確的風險評估時，你不僅需要確定 P 值或你認為的 P 值，還需要評估出錯的代價和方向。

第二類錯誤可能會導致人類滅絕，或者更糟，而第一類錯誤則意味著我們要推遲幾年才能實現 AGI。

成本差異是巨大的。

我再次重申，我支援人工智慧，並希望我們以絕對安全的速度發展人工智慧。不過，無視安全、一味追求速度並不是一個好主意。

在我看來，OpenAI 撤離對齊團隊是很危險的。

4、這是最有道理的：

• 山姆 奧特曼（以及 OpenAI 的大多數人）希望全力以赴，為產品團隊提供更多資源。
• 伊利亞和他的盟友希望將更多資源分配給安全等，但山姆阻止了。
• 這是 Ilya&Jan 和 Sam 在計算資源和優先順序上的分歧。

5、目前專注於超級對齊為時過早，就像：

• 試圖考慮尚未設計的摩天大樓的安全系統
• 試圖為尚未發現的疾病製造疫。

6、對 AGI 可能性的認知失調？伊利亞在那裡工作了 10 年，其中大部分時間裡，人們普遍認為構建類似 AGI 的東西是科幻夢想，未來學界以外的人都不會認真對待。現在，他們的研究比 10 年前更進一步，可信度更高，可以用於這項任務的資源也更多得多，他為什麼還要退出呢？

從董事會危機到董事會換屆，再到現在的辭職潮，OAI似乎已經偏離了他們最初的使命（甚至趕走了那些認真履行使命的人），現在的管理和領導方式讓那些相信使命的人不願意繼續留在那裡，因為這不是他們簽約的目的。

使命偏離以及對領導層和管理層失去信心，不願意繼續專注於他們認為重要的事情，這是更明顯的解釋，也更符合簡-萊克（Jan Leike）的評論。

失去對領導層和管理層的信任，並不一定非得是 "道學家doomer "。

7、更有可能的是，超級排列團隊發現，隨著機器越來越智慧，對更多計算能力的需求也越來越大。
OpenAI 看到了減少計算量的日益增長的需求，因為這不斷降低了模型的效能，而對安全方面卻沒有真正的影響。
我們在 OpenAI 上看到了這一點，在 Claude 上看到了這一點，甚至在 Pi.AI 上也看到了這一點。
因此，當 OpenAI 決定對此持更加開放的態度，甚至開始使用自主代理時，SA 團隊意識到他們的工作在其他地方做得更好。

banq注：

• 《三體》中面對三體人的到來，人類所做的第一件事是：探測它們，收集情報，認知第一是首先需要了解它們。
• OpenAI超級對齊團隊是否瞭解了AGI人工智慧是什麼樣？
• 也許他們已經探測了，掌握了情報，消除了警報，AGI沒有威脅
• 或者也許三體人的科技水平高得已經是我們人類無法對齊了。