大模型研究獲最佳論文,WWW 2024獎項出爐

机器之心發表於2024-05-18
本次公佈的獲獎論文中,有多位華人作者。

The Web Conference(前身為 International World Wide Web Conference,WWW)會議是全球資訊網領域的頂會,由圖靈獎得主 Tim 創辦,被中國計算機協會將其認證為 CCF-A 類會議,每年舉辦一次。

目前大會公佈了最佳學生論文獎、最佳論文獎以及時間檢驗獎。

圖片

最佳論文獎

WWW 2024 最佳論文頒給了和大模型相關的研究。

圖片

  • 標題:Mechanism Design for Large Language Models

  • 論文地址:https://arxiv.org/pdf/2310.10826

  • 作者:Paul Dütting、Vahab Mirrokni、Renato Paes Leme、Haifeng Xu、Song Zuo

  • 機構:Google Research、芝加哥大學

這篇論文作者共有 5 位,包括兩位華人。

Haifeng Xu 是芝加哥大學助理教授,並領導了 Sigma 實驗室。在此之前,Haifeng Xu 在哈佛大學做過博士後,導師是 Yiling Chen 和 David Parkes,在南加州大學(USC)獲得了電腦科學博士學位,導師是 Shaddin Dughmi 和 Milind Tambe(現任哈佛大學教授)。

圖片

圖源:https://twitter.com/DSI_UChicago/status/1790839792906944650

Song Zuo 現在是谷歌研究科學家,此前,他在清華大學獲得博士學位,本科畢業於清華姚班,主要研究方向為拍賣與機制設計,經濟學與計算。

圖片

本文研究了拍賣機制(auction mechanisms),以支援人工智慧生成內容的新興格式。他們特別研究瞭如何以激勵相容的方式聚合多個大型語言模型(LLM)。在這個問題中,每個智慧體對隨機生成內容的偏好被描述 / 編碼為一個 LLM。這項研究的一個關鍵動機是設計一種 AI 生成廣告創意的拍賣格式,以結合不同廣告商的輸入。研究者認為,儘管這個問題總體上屬於機制設計的範疇,但它具有幾個獨特的特徵。

本文提出了一種通用形式 —— token auction 模型來進行研究。該模型的一個關鍵特徵是,它以 token 為單位進行操作,並允許 LLM 智慧體透過單維度出價的方式來影響生成的內容。

本文首先探索了一種穩健的拍賣設計方法,在這種方法中,本文假設智慧體偏好比結果分佈更具有部分順序。他們提出了兩種自然的激勵屬性,並證明這些屬性等同於分佈聚合的單調性條件。本文還證明,對於這種聚合函式,即使在沒有競標者估值函式的情況下,也可以設計出第二價格拍賣(second-price auction)。接下來,本文透過聚焦於基於 KL 散度(LLM 中常用的損失函式)的具體估值形式,設計了具體的聚合函式。結果表明,福利最大化(welfare-maximizing)的聚合規則是所有參與者目標分佈的加權(對數空間)凸組合。最後,本文透過實驗結果支援了 token 拍賣的形式化。

圖片

兩個不同的聚合函式生成的文字

最佳學生論文獎

來自愛丁堡大學的研究者摘得了本屆最佳學生論文獎。

圖片

  • 標題:Stable-Sketch: A Versatile Sketch for Accurate, Fast, Web-Scale Data Stream Processing

  • 論文地址:https://homepages.inf.ed.ac.uk/ppatras/pub/webconf24.pdf

  • 作者:Weihe Li、Paul Patras

  • 機構:愛丁堡大學

論文摘要:資料流處理在各種與網路相關的應用中起著關鍵作用,包括點選欺詐檢測、異常識別和推薦系統。然而,在資料流中準確快速地檢測與這些任務相關的專案(如熱門專案、重大變化專案和持久專案)並非易事。這是由於當前系統中不斷增加的流速、有限的快速記憶體(L1 快取)以及實際遇到的高度偏斜的專案分佈。

本文引入了 bucket 穩定性的概念,它量化了記錄專案變化的程度,並證明這是識別不同專案型別的強大指標。

在此基礎上,本文提出了 Stable-Sketch,它利用了多維資訊,包括專案統計和 bucket 穩定性,並採用隨機方法來驅動替換決策。研究者對 Stable-Sketch 的誤差範圍進行了理論分析,並進行了大量實驗,證明本文的解決方案在各種專案檢測任務中,即使在記憶體緊張的情況下,也能實現更高的準確性和更快的處理速度。

首爾時間檢驗獎(Seoul Test of Time Award)

來自史丹佛大學的 Taher H Haveliwala 獲得了時間檢驗獎。

圖片

  • 標題:Topic-Sensitive PageRank

  • 論文地址:http://www-cs-students.stanford.edu/~taherh/papers/topic-sensitive-pagerank.pdf

  • 作者:Taher H Haveliwala

  • 機構:史丹佛大學

在原始的 PageRank 演算法中,透過計算一個單一的 PageRank 向量,並利用網頁的連結結構來捕捉網頁的相對重要性,然而這一過程與任何特定的搜尋查詢無關。

為了產生更準確的搜尋結果,本文建議計算一組 PageRank 向量,從而使用一組具有代表性主題的偏置向量,以更準確地捕獲特定主題的重要概念。透過使用這些(預先計算的)偏置的 PageRank 向量,本文展示了這種方法可以比使用單一的通用 PageRank 向量生成更準確的排名。

參考連結:https://www2024.thewebconf.org/program/awards/

相關文章