敲響警鐘還是走向封閉？
「ACL 不是 AI 會議（ACL is not an Al conference）」，在泰國曼谷舉辦的 ACL 2024 上，今年的 ACL 主席 Emily M. Bender 丟擲了一個極具爭議的結論。
ACL 大會是計算語言學和自然語言處理領域的頂級國際會議，由國際計算語言學協會組織，每年舉辦一次。一直以來，ACL 大會在 NLP 領域的學術影響力都位列第一，它也是 CCF-A 類推薦會議。
近年來，隨著深度學習等方法成為 NLP 研究的主流，越來越多的人將這一會議視為 AI 會議，大部分投稿都和 AI 相關。Emily M. Bender 似乎看到了這種傾向的一些弊端。
在演講中，她強調了 ACL 作為計算語言學協會舉辦的年會（Annual Meeting of the Association for Computational Linguistics），其核心並非人工智慧，而是更專注於語言技術和計算語言學。
Bender 明確指出，她不將 AI（人工智慧）作為 ML（機器學習）的同義詞。她認為機器學習（包括深度學習）為語言技術和計算語言學提供了許多有用的技術，但當焦點轉移到 AI 時，就會出現問題。
計算語言學和自然語言處理（CL/NLP）關注的是語言的相似性 / 差異性、資訊在語言中的表示方式、如何構建技術來幫助不同語言的轉錄、翻譯、摘要、資訊獲取等，以及如何評價這些技術、哪些中間表示對這些技術有用、不同 ML 技術對不同任務的效果如何、語言技術如何與現有的權力體系相互作用。
AI 領域的問題包括如何構建能夠進行類似人類推理的思考機器，如何使這些機器在認知工作上超越人類，如何自動化科學方法，以及如何自動化創造性工作等。
AI 領域還提出了一些觀點，例如人類的命運是與機器融合成為超人類，奇點的到來是不可避免的，以及 AI（實際上是合成文字機器）可以替代我們彼此之間應提供的服務（教育、醫療、法律代表）。
AI 領域存在多種問題，包括來自風險資本和億萬富翁的強烈興趣等。
Bender 還批評了 AI 領域的一些不良研究實踐，如不當使用基準測試、要求與 SOTA 的封閉模型進行比較評估、資料集過大導致缺乏保留資料等。Bender 表示，如果你的研究問題集中在「如何證明我的機器具有智慧」上，那麼這種關注點可能會扭曲研究實踐。
她還指出，AI 領域的焦點導致了糟糕的審稿實踐，例如不使用大型語言模型（LLMs）或不提供 SOTA 大小的 LLM 結果的論文可能會被認為不感興趣。
與 AI 領域的不良實踐相對比，CL/NLP 領域的研究最佳實踐包括對技術的適用性、對人類語言行為的理解、良好界定的評估、內在和外在的評估、堅實的基線、保留的測試資料和詳細的錯誤分析。
Bender 表示，CL/NLP 研究建立在對資料的理解上，包括對語言如何工作的知識（即語言學）和資料集文件。
在可複製性和可重現性方面，Bender 強調了科學是關於在先前研究基礎上構建，而不是僅僅為了達到 SOTA。
在社會影響方面，CL/NLP 研究關注其技術對社會的影響，包括倫理和 NLP 研究的歷史，以及理解語言和技術將被誰使用、為誰使用、對誰使用，以及誰可能因被排除或包括而受到傷害。
Bender 認為，ACL 應該是一個關注語言技術的場所，一個促進跨學科研究的社群，一個關心語言群體的研究領域，並且是一個我們可以理性討論我們研究和技術對社會影響的空間。
這一觀點在社交平臺上引起了很大爭議。
有人認為，這是一種不夠包容的表現，「NLP 歷史上最好的時刻發生在人們對其他學科的想法持開放態度的時候：從語言研究人員那裡學習統計方法，從社會科學家那裡學習如何看待世界。這些幻燈片讓我覺得有些人想讓我們走向封閉。」
還有人認為，做這種分割完全沒有必要，因為二者已經有機地融合在一起。
不過也有人表示理解，畢竟 AI 風頭太盛，一旦某個會議被 AI 論文「承包」，其他領域的研究勢必受到冷落，這將使該會議失去原本的趣味。
對於這個演講傳遞的訊號，大家也開始猜測：這是不是意味著 ACL 不歡迎 AI 論文了？
對此，你怎麼看？
參考連結：https://faculty.washington.edu/ebender/papers/ACL_2024_Presidential_Address.pdf