4分論文被收,ICLR官方回覆:優先遵從AC意見

機器之心發表於2019-01-24

剛剛,ICLR 2019 大會官方回覆了這一事件。

4分論文被收,ICLR官方回覆:優先遵從AC意見

我們說明一下評審過程中的內部資訊。rebuttal and discussion period 持續了 3 周,期間我們通過電子郵件與大約 80 位領域主席討論 ICLR 2019 的論文接收決定。這些討論旨在確保論文接收與否的決定能夠真正基於領域專家的意見。

就本案例而言,作為該領域公認專家的領域主席(AC)認為這項研究被嚴重低估了,因此為其做出了辯護。理想情況下,領域主席應該與審稿人進行充分討論;但這裡,討論沒有得到充分進行。

鑑於審稿人人數眾多、水平各異,因此在領域主席認為有必要進行干預時,我們將採用遵從領域主席意見的方式。大多數情況下,這會讓討論更充分且最終能達成共識。不過這裡我們看到了私下討論的一個失敗案例。

就文章匿名問題,我們務實地決定不直接將沒有匿名的論文自動拒絕,而是在被舉報時讓作者儘早修改。從本案例來看,這種機制顯然存在問題;但據我們所知,本案例中沒有證據表明 AC 受此影響。

從這個回覆中我們可以看到,ICLR 評審制度存在以下幾點問題:1)評審人員水平參差不齊;2)由此導致 AC 權力過大;3)「私下討論」因人而異,並未制度化,可能帶來隱患;4)未嚴格執行「匿名性」。

近期各大機器學習頂會論文投遞數量暴漲,導致論文數量增多與合格論文評審人員數量不足之間的矛盾。ICLR 的評審制度對此採取的措施是「優先遵從領域主席意見」,在匿名評審與領域主席觀點不一致時,允許私下討論。在這一案例中,我們可以清楚地看到私下討論未必都能成功。在之前的 reddit 討論中,一位 ICLR 2019 評審人表示:「是有私下討論的,不過不是必須。作者/評審/主席可以選擇是否公開資訊。」

我們目前對 ICLR 的「私下討論」環節並不瞭解,由誰發起、討論記錄是否公開或至少提交給 ICLR 程式委員會、討論過程中是否有可能出現「學術欺凌」,這些都是值得關注的問題。

之前曾有多位學術大牛表示:junior 會比較嚴格,因為某些細節不足而打低分,有可能忽視某項工作的真正創造性;而 senior 會比較寬鬆,看到真正的閃光點。這種情況是會存在的,但遵從某一個人的意見也有可能出現偏差。因此在意見不統一的時候,充分的討論是必要的,而如何保證討論的公平公開,從而保證論文接收決定的公平性,這值得我們思考。

此外,ICLR 官方回覆稱」在本案例中沒有證據表明 AC 受匿名問題影響」,但這似乎並不代表」匿名問題」在其他案例中不存在問題。「雙盲評審」卻不能保證嚴格的「雙盲」,這事實上是對「學術不誠實」行為開放的一個祕密通道。

我們期望學術界出現更多創新性研究,期望論文評審制度更加完備,期望學術公平。

相關文章