AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報導了2000多篇內容,覆蓋全球各大高校與企業的頂級實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或者聯絡報導。投稿郵箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
論文連結:https://arxiv.org/abs/2405.15077 現場交流 Oral at EC’24:
GPPM的靈感來自於夏農互資訊(Mutual Information),假設有兩個審稿人Alice和Bob,Alice的分數是,Alice的審稿意見 能提供多少關於Bob的審稿意見
的資訊。
在此基礎上,GSPPM試圖過濾掉審稿意見中的無效資訊,例如對論文內容的概括。
TOKEN利用了LLM predict next token的能力。值得注意的是,利用大模型將文字報告預處理成統一的格式非常重要,這避免了不同語言風格和用詞習慣帶來的噪聲等影響,研究者稱這一方法為Token-Preprocess。 JUDGMENT提供了一種在只有Chatbot API情況下的解決方案。如上圖所示,帶有文字預處理的TOKEN實現表現整體好於JUDGMENT實現。
能否收集人類對審稿意見的評分,驗證與文中機制評分的相關係數? 能否進一步降低文中機制評分的噪聲? 能否在其他領域測試文中機制的能力,如中文文字?