新火種AI|谷歌Gemini被曝誇大營銷？碾壓GPT4純靠“一張嘴”

作者：文子

Gemini對谷歌來說可能走了一大步，但對整個AI領域而言，並沒有說的那麼誇張。

涉嫌虛假宣傳，互動非實時感知

才短短一天時間，谷歌Gemini就被曝涉嫌造假，誇大宣傳。

作為谷歌用來應對GPT-4的“殺手鐧”，Gemini一經亮相就有了兩個碩大的標籤：超過人類專家，碾壓GPT-4。隨便單拎一條出來，都是目前其他大模型所不能比擬的成績。

但也有越來越多的人開始質疑它的真實性，彭博社的Parmy Olsen就是第一個質疑影片造假的人。

就在大家震驚於谷歌釋出的6分鐘互動影片裡，他指出，Gemini所有互動都不是實時感知的，存在後期製作和剪輯配音的成分。隨後這一說法也得到了谷歌官方的證實，承認Gemini的確使用了靜態圖片和多段提示詞拼湊，才能達成這樣的效果。

簡單來說就是，Gemini不能直接看懂一段動作影片，只能看懂多張圖片。像演示影片里人類在玩石頭剪刀布，實際上是把“布”“拳頭”“剪刀”三張照片依次傳給Gemini，然後加上良好的提示詞，才能讓Gemini給出回答，然後再由員工配音念出來。

而且影片中展示的許多其他功能並不是谷歌獨有的，GPT Plus3也可以做得到，沃頓商學院教授伊森·莫里克（Ethan Mollick）就用實驗證實了這一點。

雖然從技術原理上來看，能夠讀取圖片和能夠看懂影片之間，並沒有技術上的鴻溝。但是從產品實現落地的角度看，把讀取圖片約等於能實時看懂影片，過於強調實時性而壓縮了互動過程中的延遲，這幾乎已經可以理解為虛假宣傳。而是否需要良好的提示詞工程，更是評價模型能力的關鍵問題。

混淆跑分，GPT4測試標準不一致

從谷歌對Gemini的宣傳資訊來看，它聲稱Gemini在32項標準效能指標中，有30 項指標都優於GPT-4，跑出90%的高分，超過GPT-4。但實際上，差距微乎其微，而且這種比較並不公平。

Gemini Ultra的90%得分是基於谷歌研究人員開發的一種基於32個樣本的思維鏈的方法。對於同一個問題，Gemini Ultra會生成32個答案以及這些答案的推理。然後，模型會選擇最常見的答案作為最終答案。

但GPT-4的86.4%分數是基於行業評估標準5-shot。HuggingFace技術主管Philipp Schmid特意從Gemini的技術報告中提取資料重做計算，在5-shot的標準下，Gemini的得分實為83.7%，比GPT-4更低。

也就是說只有CoT（思維鏈）達到32個例子時，Gemini Ultra才能達到90分超過GPT-4；當例子數量減少到5個，Gemini Ultra得分就不如GPT-4。難怪連谷歌公司高管在之前都回避了關於該模型比GPT-4 強多少的問題，因為它們只是“強”在了不同的標準上。

就像谷歌在5月份釋出Palm-2的時候，也挑出了兩個優於GPT-4的指標，但是後來這個大模型怎麼樣，大家都清楚。

史丹佛大學基礎模型研究中心主任 Percy Liang也談到，雖然Gemini有很好的基準分數，但由於不知道訓練資料的內容，因此很難解釋這些資料。華盛頓大學計算語言學教授 Emily Bender也指出，谷歌宣傳Gemini是一臺萬neng機器，是一個可用於多種不同用途的通用模型。但是谷歌卻在使用狹隘的基準，來評估它期望用於這些不同用途的模型，這意味著它實際上無法得到徹底評估。

倉促上陣，只為趁OpenAI動盪搞事？

今年3月，OpenAI釋出GPT人工智慧模型，並推出其支援的付費聊天AI機器人ChatGPT，這其實對谷歌來說壓力很大。

畢竟谷歌已經耗費了數年心血，在人工智慧領域投入巨資研究，卻沒想到被半路殺出來的OpenAI彎道超車。

所以在4月，谷歌迫於投資方的巨大壓力，將負責人工智慧研究的Google Brain，與母公司Alphabet位於倫敦的人工智慧研究實驗室DeepMind合併，為了在今年接下來的時間裡研發Gemini模型來回應GPT-4的挑戰。

而在兩週前，OpenAI剛剛重新任命了奧特曼為執行長，並任命了新的董事會成員，勉強給這家初創公司的一段動盪期畫上了句號。這場內鬥事件也促使一些客戶開始評估其他AI提供商，谷歌選擇在這個時間點推出Gemini的心思不言而喻。

據報導，當OpenAI董事會暫時罷免執行長奧特曼，使公司的未來發展受到質疑時，谷歌迅速發起了一場營銷活動，說服OpenAI企業客戶轉向谷歌。現在，隨著Gemini的釋出，谷歌也正是在利用這種不確定性。

然而，目前大多數人還是不能完整地體驗Gemini。最強大的對標GPT-4的滿血版Gemini Ultra，還需要等待幾個月才能和公眾見面。據谷歌高管的說法，預計將於明年初上市。而現在推出的版本是為谷歌基於文字的搜尋聊天機器人Bard的後臺，為其提供更高ji的推理、規劃和理解能力。

在接下來的幾個月裡，新的Gemini增強版Bard會在170多個國家提供英語版本的首fa，不包括歐盟和英國。谷歌負責Bard的副總裁Sissie Hsiao表示，這是因為公司需要與當地監管機構“接軌”。除此之外，Gemini還有一個名為Nano的版本，可以直接在裝置上執行的，例如谷歌的新款Pixel手機。

谷歌VS OpenAI：瑜亮之爭鹿死誰手？

12月7日，隨著Gemini的高調發布，谷歌市值一晚就增加逾870億美元，增量相當於OpenAI的最新估值。就目前來說，未上市的OpenAI估值在800億至900億美元之間。

要知道，今年以來谷歌的股價已經上漲了逾50%，大幅跑贏了納斯達克綜合指數，但卻落後於一些科技同行，裡面就包括OpenAI最大的投資方微軟。

事實上，谷歌在過去的發展歷史中已經吃過很多次苦頭，推出有缺陷的產品。這對公司發展來說，適得其反。就像今年2月為了應對ChatGPT急急忙忙推出的Bard，因為一次小小失誤就導致股價蒸發了高達1000億美元。

哪怕是5月，谷歌宣佈在大部分產品中植入生成型人工智慧，比如谷歌郵箱和其他軟體，試圖用這個舉動改變市場的看法，但效果卻微乎其微。這也讓谷歌深刻認識到，推出有缺陷的產品帶來的反噬。

但在科技行業，只要足夠強大就足以搶佔市場。早期的手機霸主諾基亞和黑莓就經歷過慘痛教訓，蘋果用功能更強大、更直觀的iPhone搶走了它們的市場。在軟體領域，商業上的成功往往來自於效能最好的系統。

幾乎可以肯定的是，隨著Gemini的釋出，谷歌或許有望逐漸扭轉那些不利的局面。摩根大通分析師就表示，“谷歌開始透過結合 Gemini的不同模型版本，來解決投資者對生成式人工智慧創新和GenAI模型執行成本過高的擔憂。”

不過如果Gemini Ultra真如谷歌所說那樣在明年1月初發布，那麼在頂ji人工智慧模型的頭部就呆不了太久時間。畢竟在谷歌努力追趕OpenAI的過程中，後者有將近一年的時間來開發新一代人工智慧模型GPT-5。

但有一點不能否認，谷歌和OpenAI的這場對決，已是箭在弦上。