o3智商高達157？每13333人中才有一個這麼高，網友：編碼分數無意義

机器之心發表於2024-12-24

從韋氏智商測試來看，如果 o3 的 IQ 真這麼高，則稱得上非常優秀。


OpenAI o3 的智商（IQ）竟然已經這麼高了嗎

今天，Reddit 上一則熱帖宣稱「OpenAI o3 的 IQ 估計為 157」，並放出了一張資料圖。
圖片
這意味著什麼呢？人類中的 0.0075% 才能達到這個智商水平。更具體地說，每 13,333 個人中才出來一個這麼高智商的。

對比之下，GPT-4o 的 IQ 為 115、o1 preview 為 123、o1 為 135、o1 pro 為 139、o3 mini 為 141。
圖片
同樣更具體地講，GPT-4o 每 6 人中有一個、o1 preview 是每 16 人、o1 是每 93 人、o1 pro 是每 200 人、o3 mini 是每 333 人。
圖片
這些 IQ 是如何計算出來的呢？疑似原作者表示，他根據 Codeforces 編碼評級來粗略地估計 IQ，並假設報名時競爭程式設計師排名前 15％，最後得出 GPT-4o、o1 preview、o1、o1 pro、o3 mini 和 o3 的 IQ 以及在人類中的排名。
圖片 圖源：X@i_dg23

此前還有人整理了 GPT-4o 與 o1 preview、o1、o3 在 2024 年 AIME 數學競賽題目測試（AIME 2024）中的結果，從 13.4 到如今的 96.7，七個月的時間，數學能力實現了飛躍式提升。
圖片 圖源：X@zbgoodwin

僅從以上資料來看，AI 大模型的進步速度著實令人震驚。不過，畢竟開局一張圖，o3 的 IQ 真的如表格中那麼高嗎？

有人找到了「Tracking AI」中 o1 在挪威門薩智商測試（Mensa Norway）IQ 測試中的結果（為 133，與上面表格中估計的 135 相差不大），一定程度上驗證了 o3 估計智商的可靠性。
圖片 圖源：X@facundo_fagalde
圖片 圖源：https://www.trackingai.org/home

因此，未來等 o3 正式釋出以後，它的挪威門薩智商測試結果將更加值得期待。
圖片 圖源：X@AILeaksAndNews

o3 IQ 如此之高，瞬間引爆了大傢伙的評論熱情。

網友熱評

有網友直呼：「這張圖是我見過最愚蠢的東西之一，這些資料根本不能代表智商。他們用編碼表現的 z 分數代表智商。但編碼不是智商測試，尤其是對於參加編碼測試的 LLM 來說，它們對所有在網際網路上分享的程式碼具有完美的數字記憶。o3 甚至無法解答我 6 歲和 8 歲的孩子可以解答的問題。」
圖片
也就是說，如果 LLM 針對編碼測試進行訓練，那麼用編碼表現分數代表智商是毫無意義的。

但另一位網友表示：「並非如此，這是一種基於相關性的『轉換』，但首先相關性有點弱，其次它轉化為機器智慧的效果尚不明確，即人工智慧模型可能擅長編碼，但在其他領域卻不行。」
圖片
網友指出：「IQ 本身就是用來評估人類的指標。它評估與智力相關的特定技能，並理所當然地認為人類應該擁有許多其他特徵。而這張圖透過考慮人工智慧可以擅長的單一指標來假設廣義智慧，他們甚至沒有使用智商測試來得出這個結論，而是根據與智商相關的指標來推斷。」
圖片
總的來說，人們對於所謂的「o3 智商高達 157」並不認可。或許，這又是一場炒作吧。
圖片
參考連結：https://www.reddit.com/r/singularity/comments/1hkxmi6/o3s_estimated_iq_is_157/

相關文章