保守派中間派原生派,誰將主導搜尋引擎未來三十年?

机器之心發表於2024-09-18

擁有智慧索引庫、專屬知識庫、混合大模型排程系統的 AI 原生搜尋,能否成為正統,引領搜尋引擎的下一個三十年?


如今的科技界,沒有比 AI 搜尋更強的新共識了。

在過去的幾十年裡,以 Google、百度為代表的「搜尋引擎」,和以抖音、TikTok 代表的「推薦引擎」,輪番引領了資訊經濟的發展。

而今天,大語言模型( LLM )的出現,有望進一步增強搜尋引擎的地位和價值,讓它以 AI 搜尋的新身份,再次引領人工智慧應用的浪潮。

一、保守還是激進?湧向 AI 搜尋的三大支流

AI 正成為「端掉」傳統搜尋引擎業務的最大變數,但如何實現 AI 搜尋,爭議不絕。目前,湧向 AI 搜尋的眾多玩家已經分化出三股主要支流,各自蜿蜒前行:保守派,中間派,原生派。

保守派以 Google AI Overviews,和國產搜尋「AI 智慧回答」為代表,即在現有搜尋引擎上新增 AI 功能模組,增強傳統搜尋效能。

以 New Bing 為代表的中間派,雖然透過 AI 對搜尋進行了更加深入的改造,但保留了傳統搜尋引擎這個「基礎設施」,也有人稱之為「答案引擎」。

最激進的當屬 Perplexity、360AI 搜尋為代表「原生派」——從 0 到 1 打造 AI 原生的搜尋引擎,因其回答質量更高,資訊結構化更強,也被稱為「知識引擎」。

業內人士認為,在人工智慧時代,如果按照「含 AI 量」來為搜尋引擎做代際劃分,那麼:

保守派僅對搜尋引擎做了「外掛」化改造,AI 含量最低,只能算是搜尋引擎 1.0 。

中間派對傳統搜尋引擎的改造比較深入,AI 含量明顯上升,具有較強的生成回答的能力,可以稱之為搜尋引擎 2.0 。

「為 AI 而生」的原生搜尋引擎,將 AI 作為系統中無法分割的一部分,含 AI 量最高,被稱為搜尋引擎 3.0 。

如果使用者僅需網址導航,傳統搜尋引擎和搜尋引擎 1.0 完全夠用。一旦搜尋需求變複雜,包含推理、計算等要求,不同代際的搜尋引擎表現差距,就立刻凸顯出來。

舉個例子。我們先問 Google,「《里斯本丸沉沒》豆瓣評分高達 9.3,口碑炸裂,為什麼票房才 1000 萬?」

結果,面對這個比較複雜的提問,Google AI Overviews 無法回答,甚至都沒有啟動。

圖片

即便是對於一些看似有能力回答的簡單問題,Google AI Overviews 也會翻車:

「怎麼吃石頭?——石頭要磨細了吃,咽不下的時候還用水來送服,石頭有很豐富的營養」

「怎麼不讓芝士從披薩上滑落?——在醬汁中加入 1/8 杯無毒膠水」

「懷孕時抽菸怎麼樣?——醫生建議懷孕期間每天抽 2-3 根菸」

當然,這並不意味著 Google 的 AI 技術遜於其他公司。問題的根源在於,AI 系統僅充當傳統搜尋引擎的外掛,被內容不準確、但使用者點選較多的網頁搜尋結果帶溝裡了。

傳統搜尋引擎傾向於 CTR 導向( Click Through Rate ,點選率),這直接關係到廣告收入,所以,返回內容往往傾向點選率高的網頁(很多時候是一些 UGC 網站,比如論壇、知識問答網站,或者「內容農場站」和「 AI 內容站」),而不是最準確的答案。一旦遭遇標題黨、誤導甚至錯誤答案,大模型也會跟著翻車。

同一個問題,New Bing 回答要好不少,但仍然會受到傳統搜尋引擎按照點選率排序網頁的影響。

圖片

而作為人工智慧時代搜尋引擎 3.0 的代表,Perplexity、360AI 搜尋之所以被稱為「知識引擎」,是因為丟擲一個問題,你得到的不只是答案,還是結構化的知識。

還是同一個問題,AI 原生搜尋引擎的回答質量明顯更進一步。

圖片

除了回答平均長度超過 700 字(其他 ChatBot 或 AI 搜尋回答一般只有 200 多字),360AI 搜尋返回的結果還能從更多角度解析同一個問題,資訊豐富。最重要的,幾乎每句話都會註明出處,就像學術論文務必註明引文來源,引注數量也頗為可觀。

除此之外,結果還包括圖片、思維導圖以及所有參考文章連結。

圖片

為了更加明確 AI 搜尋的不同流派和路徑之間的效果差異,和背後原因,我們決定再拿新的問題做進一步的測試。

儘管有些心理預期,提問 「如何評價 17 歲中專生薑萍闖入 2024 阿里全球數學競賽決賽」 ,選擇「深入回答」模式後,360AI 搜尋的表現還是讓人感到意外。保守派中間派原生派,誰將主導搜尋引擎未來三十年?

閱讀了全網 46,834 篇相關資料,精選 39 篇文章,它很快整出一篇小作文,不僅篇幅可觀,內容也非常豐富。除了開門見山彙總了社會各界對姜萍闖入決賽的評價,還談到了她的預賽表現和個人特點,最後「昇華」到討論中專生參加這類競賽的優勢與挑戰。

在嚴謹性上,幾乎每個論點都會標註相關論據內容出處,方便讀者進一步核實。全文一共有 25 個引注,還附上了全部 39 篇文章連結。

在呈現方式上,除了文字,還有姜萍、決賽榜單等相關新聞圖片以及思維導圖。

比對「保守派」的回答,優勢可謂一目瞭然。

圖片

這是百度「AI智慧問答」返回的結果。

圖片

這是微軟必應返回的結果。

而大家熟悉的 ChatGPT 等 AI Chatbot 產品,在少數情況下才涉及 RAG 呼叫,因此,生成答案中的參考連結較少,難免存在幻覺問題。

圖片

從搜尋結果質量上來看,三代搜尋引擎中,無疑是激進的「原生派」的搜尋引擎 3.0 佔了上風。但商業世界不止看「效果」,還要看「成本」等諸多因素。

如果 AI 原生搜尋引擎投入大、回報低,那麼再好的搜尋質量也無法幫助它完成商業閉環。

二、AI 原生雖好,「三大支柱」門檻高

要打造一個真正的 AI 搜尋引擎,門檻和投入不可謂不高。

360 集團副總裁、AI 產品負責人梁志輝估算,要打造一個通用搜尋引擎,至少需要 20 億至 40 億元的預算。這還不包括網頁排名的伺服器成本、終端廠商合作費用和人力資源開支。這也正是為何全球只有少數幾家通用搜尋引擎的原因。

從技術架構層面來看,一個可以被稱為「知識引擎」的 AI 原生通用搜尋引擎,包括了「智慧索引庫+專屬知識庫+混合大模型智慧排程系統」三大支柱。

1、智慧索引庫

對於一個搜尋引擎而言,自建索引庫也非常重要,但同時成本極為高昂。即使是傳統搜尋引擎,爬取 1000 萬個網頁就需要投入百萬級預算。而這僅僅是冰山一角。

因此,除了極少數創業公司選擇自建小規模的垂直索引庫,市面上的多數所謂 AI 搜尋產品,實際上依賴於購買 Google 或微軟 Bing的 API 服務,這又帶來兩個顯著問題。

首先,成本高昂。呼叫 Google 或 Bing 的索引庫需要購買昂貴的第三方服務,這可能會吞噬企業的全部利潤,使得專案難以維繫。

其次,知識理解受限。若選擇接入現有的索引庫服務(如 Perplexity AI ),通常只能獲取與查詢相關的約 100 字資訊。這種限制使得大模型無法對內容全文進行通讀和深入分析,導致對許多知識的理解變得片段化和表面化。

作為 2012 年就開始做搜尋的老牌廠商,360 搜尋已經建立了約由 1000 億個網頁構成的動態更新索引庫,這也為 360AI 搜尋奠定了基礎。

但對於 AI 搜尋來講,索引技術和索引庫同樣重要。在傳統關鍵詞索引之外,360AI 搜尋使用向量索引、KV 索引等技術,對索引庫進行了重構,使得索引效率大幅提升。

2、專屬知識庫

知識庫是知識引擎的「高質量內容原料」,更多用於複雜推理和深度理解任務。但公域的內容質量整體下降,優質內容逐漸被有豐富內容的 App 分走。透過自建、購買和合作等方式,360AI 搜尋的知識庫收錄了大量的高質量內容來源,包括但不限於論文、知識影片、訪談節目、課堂錄音、專業網站等。

而且,透過對知識庫引入了 GraphRAG,利用知識圖譜進行檢索,處理複雜查詢更加得心應手。這使得專屬知識庫內容能夠以大模型最容易理解和計算的方式來抓取、索引、召回,讓優質知識真做到「可計算」,「可理解」。

3、混合大模型智慧排程系統

生成式大語言模型,是 AI 搜尋能夠輸出結構化高質量內容的關鍵。但一個直接接入大模型的 AI 搜尋並不高效,也不足夠智慧,因為每一個大模型都有短板。360AI 搜尋的解決方案是,構建了一個 CoE( Collaboration-of-Experts,專家協同)技術架構,用實現了對包括 360 智腦在內 16 家主流國產大模型廠商、54 款大模型,和大量的專家模型的智慧排程。

CoE 架構的技術原理,和近日剛剛釋出的 OpenAI o1-preview 大模型理念相同、方法類似,都是基於強化學習和「思維鏈」 ,大幅最佳化了記憶、檢索、推理機制,提升了大模型解決複雜問題的能力。

只不過不同點在於,OpenAI o1遵循的可能是「雙系統理論( Dual Process Theory)」,是 GPT 和 o 系列結合思維鏈的融合系統,前者用於「快思考」,後者實現「慢思考」。而 CoE( Collaboration-of-Experts,專家協同)架構則集合了數量更多的大模型和專家模型,是透過思維鏈和「多系統協同」的方式實現「快思考」和「慢思考」。另一個不同點在於,CoE 架構的釋出時間,要比 o1 早了接近兩個月。

這種分工協作的模式,使得 CoE 架構在推理任務中的表現更加靈活且精準,尤其在處理複雜問題時,能與 OpenAI o1 媲美,甚至在某些場景下更勝一籌。

而具有技術前瞻性的 CoE 架構所支撐的混合大模型智慧排程系統,正是 AI 搜尋的第三大支柱。

在 CoE 架構面世之前,國際主流的大模型排程系統是 MoE( Mixture-of-Experts ,專家混合)架構。但是,MoE 架構一次只能讓一個專家模型回答問題,又由於單個模型能力有限,無法及時對網頁內容去偽存真,答案也難免帶有幻覺和噪聲。

在 CoE 的工作流程中,人們輸入的問題首先給到能夠識別 1 億多種意圖分類的專家模型;在完成意圖識別後,再交給任務路由模型進行復雜任務拆解,決定任務由哪款模型來處理,或是哪幾款模型進行配合。透過對任務的細緻分解和不同模型能力排程,大大提升了答案的準確性、時效性和嚴謹性。

「今天你看到的 AI 搜尋背後,一個簡單的搜尋至少有 7 次模型呼叫,一個深度回答至少有 15 次大模型調研。它的背後不僅有意圖識別,還有多種能力排程、閱讀分析、任務編排等等,」梁志輝說道。

在高門檻、高投入之下,AI 搜尋確實實現了更好的效果。越來越多的使用者也選擇「用腳投票」。

8 月資料顯示,1 月底上線的 360AI 搜尋使用者訪問量已超 2 億,是 Perplexity AI 三倍以上,並且還在以 113% 的月增速增長。不僅蟬聯全球最大 AI 原生搜尋引擎,還是全球增速最快的主要 AI 搜尋引擎。

從使用者行為來看,AI 搜尋和傳統搜尋引擎也有很大不同。AI 搜尋中,70% 以上使用者是在找資訊 ,定址的使用者下降到了 10%;在找資訊的使用者中,近 20% 的需求是直接用於文件創作,而這正是 AI 搜尋的優勢所在。從使用者時長來看,360AI 搜尋使用者平均搜尋次數已提升 2-6 倍 ,平均停留時長已經超過 500 秒。

圖片

而在使用者畫像上,AI 搜尋使用者群體現在已覆蓋「兩端」。一邊是從事內容生產、對內容質量有要求的知識群體;另一邊,得益於語音輸入、結果複製等能力持續降低的使用門檻,中小學生使用者佔比突出。

讓我們重新抬頭看如今的搜尋引擎市場。一面是,傳統搜尋引擎已經挖掘了所有可能性,也充分暴露了其弊端;而另一面,轉向 AI 搜尋的保守派、中間派、原生派的不同路線以及其各自產品的優劣,也已經清晰地呈現在人們眼前。

不過,人們還是會心存疑慮:

AI 原生搜尋引擎效果雖好,但如今的 AI 原生應用鮮有單獨實現商業閉環的,而單次搜尋就需要 7-15 次模型呼叫的 AI 搜尋,是否永遠無法實現商業閉環?又或者,這樣的模式會不會只是曇花一現?

三、「革自己的命」,鯰魚無懼

沒錯,推理成本,就是 AI 搜尋商業模式能否閉環的關鍵因素。

對於傳統搜尋引擎而言,Google 的單次搜尋成本僅為 0.2 美分。而以 360AI 搜尋為代表的 AI 原生搜尋引擎,單次搜尋有 7-15 次大模型呼叫,推理成本則要高得多,但這個問題並非無解。

事實上,透過巧妙地選擇和整合不同的 AI 模型,CoE 架構可以充分利用各模型的分析優勢和差異化定價結構,以此提升產品效能並控制成本。國內第三方大模型激烈價格戰也為 AI 搜尋成本的整體下降奠定了基礎。此外,透過為大模型廠商提供使用者和「bad case」反饋,360AI 搜尋與大模型廠商之間已經形成了互利合作關係。從長遠趨勢來看,情況也在好轉,推理成本呈快速下降態勢,有點類似摩爾定律。

儘管 AI 搜尋的商業模式仍未完全建立,但這更多隻是一個時間問題。微軟 CEO 納德拉強調:「據我所知,搜尋業務是地球上軟體業務中最賺錢的,我所需要的是更多的使用者。」因此,我們完全不必擔心一個大使用者量的搜尋引擎會一直賠錢。據瞭解, 360AI 搜尋已經實現了商業閉環。

創始人周鴻禕曾把 360 比喻為中國網際網路的「鯰魚」,不是巨頭,不是鯊魚。這條「鯰魚」,早在十二年前,就以「3百大戰」的方式,攪動了中國搜尋市場,至今仍然位列中國搜尋引擎市場第二名。

十二年後,人工智慧浪潮來襲,市場風雲再起。秉承一貫的快速行動力,360 這條「鯰魚」僅用八、九個月時間就迅速超越 Perplexity AI,一躍成為全球規模最大的 AI 原生搜尋引擎,而且勢能不減,依然全球增速最快。

縱觀全球商業史,在幾乎每一場需要「自我革命」的科技浪潮中,行業老二都往往比行業老大更果斷、更有勇氣,也更具靈活性。龐大的沉沒成本迫使傳統巨頭們採取「保守式」創新,以期步步為營,柯達、諾基亞、谷歌和百度亦是如此。而另一方面,對於「沒有歷史包袱」的初創企業而言,AI搜尋領域也並非「顛覆式創新」的理想突破口。

目前,AI 搜尋還處於快速發展過程中,搜尋體驗將繼續快速提升,與傳統搜尋引擎的差距也將越拉越大。AI 搜尋會讓搜尋引擎從資訊檢索工具,進化成幫助使用者完成知識探索的「知識引擎」,並最終,憑藉不可逆的歷史趨勢,取代傳統搜尋引擎,成為使用者檢索資訊、獲取知識的首選。

或許到那時大多數人才驚覺,今天我們以為的攪動市場的「鯰魚」,原來就是一條「鯨魚」。

相關文章