偶爾轉帖：AI會議的總結（by南大周志華）

說明: 純屬個人看法, 僅供參考. tier-1的列得較全, tier-2的不太全, tier-3的很不全.

同分的按字母序排列. 不很嚴謹地說, tier-1是可以令人羨慕的, tier-2是可以令

人尊敬的,由於AI的相關會議非常多, 所以能列進tier-3的也是不錯的

tier-1:

IJCAI (1+): International Joint Conference on Artificial Intelligence AAAI (1): National Conference on Artificial Intelligence

COLT (1): Annual Conference on Computational Learning Theory

CVPR (1): IEEE International Conference on Computer Vision and Pattern Recognition

ICCV (1): IEEE International Conference on Computer Vision

ICML (1): International Conference on Machine Learning

NIPS (1): Annual Conference on Neural Information Processing Systems

ACL (1-): Annual Meeting of the Association for Computational Linguistics

KR (1-): International Conference on Principles of Knowledge Representation and Reasoning

SIGIR (1-): Annual International ACM SIGIR Conference on Research and Development in Information Retrieval

SIGKDD (1-): ACM SIGKDD International Conference on Knowledge Discovery and Data Mining

UAI (1-): International Conference on Uncertainty in Artificial Intelligence

*Impact factor (According to Citeseer 03):

IJCAI ：1.82 (top 4.09 %)

AAAI ：1.49 (top 9.17%)

COLT：1.49 (top 9.25%)

ICCV ：1.78 (top 4.75%)

ICML ：2.12 (top 1.88%)

NIPS ：1.06 (top 20.96%)

ACL ：1.44 (top 10.07%)

KR ：1.76 (top 4.99%)

SIGIR ：1.10 (top 19.08%)

Average：1.56 (top 8.02%)

IJCAI (1+): AI最好的綜合性會議, 1969年開始, 每兩年開一次, 奇數年開. 因為AI 實在太大, 所以雖然每屆基本上能錄100多篇（現在已經到200多篇了），但分到每個 領域就沒幾篇了，象achine learning、computer vision這麼大的領域每次大概也 就10篇左右, 所以難度很大. 不過從錄用率上來看倒不太低,基本上20%左右, 因為內 行人都會掂掂分量, 沒希望的就別浪費reviewer的時間了. 最近中國大陸投往國際會 議的文章象潮水一樣, 而且因為國內很少有能自己把關的研究組, 所以很多會議都在 complain說中國的低質量文章嚴重妨礙了PC的工作效率. 在這種情況下, 估計這幾年 國際會議的錄用率都會降下去. 另外, 以前的IJCAI是沒有poster的, 03年開始, 為了 減少被誤殺的好人, 增加了2頁紙的poster.值得一提的是, IJCAI是由貌似一個公司 的”IJCAI Inc.”主辦的(當然實際上並不是公司, 實際上是個基金會), 每次會議上要 發幾個獎, 其中最重要的兩個是IJCAI Research Excellence Award 和 Computer & Thoughts Award, 前者是終身成就獎, 每次一個人, 基本上是AI的最高獎(有趣的是, 以AI為主業拿圖靈獎的6位中, 有2位還沒得到這個獎), 後者是獎給35歲以下的 青年科學家, 每次一個人. 這兩個獎的獲獎演說是每次IJCAI的一個重頭戲.另外, IJCAI 的 PC member 相當於其他會議的area chair, 權力很大, 因為是由PC member 去找 reviewer 來審, 而不象一般會議的PC member其實就是 reviewer. 為了制約 這種權力, IJCAI的審稿程式是每篇文章分配2位PC member, primary PC member去找 3位reviewer, second PC member 找一位.

AAAI (1): 美國人工智慧學會AAAI的年會. 是一個很好的會議, 但其檔次不穩定, 可 以給到1+, 也可以給到1-或者2+, 總的來說我給它”1″. 這是因為它的開法完全受 IJCAI制約: 每年開, 但如果這一年的 IJCAI在北美舉行, 那麼就停開. 所以, 偶數年 裡因為沒有IJCAI, 它就是最好的AI綜合性會議, 但因為號召力畢竟比IJCAI要小一些, 特別是歐洲人捧AAAI場的比IJCAI少得多(其實亞洲人也是), 所以比IJCAI還是要稍弱 一點, 基本上在1和1+之間; 在奇數年, 如果IJCAI不在北美, AAAI自然就變成了比 IJCAI低一級的會議(1-或2+), 例如2005年既有IJCAI又有AAAI, 兩個會議就進行了協 調, 使得IJCAI的錄用通知時間比AAAI的deadline早那麼幾天, 這樣IJCAI落選的文章 可以投往AAAI.在審稿時IJCAI 的 PC chair也在一直催, 說大家一定要快, 因為AAAI 那邊一直在擔心IJCAI的錄用通知出晚了AAAI就麻煩了.

COLT (1): 這是計算學習理論最好的會議, ACM主辦, 每年舉行. 計算學習理論基本上可以看成理論電腦科學和機器學習的交叉, 所以這個會被一些人看成是理論計算 機科學的會而不是AI的會. 我一個朋友用一句話對它進行了精彩的刻畫: “一小群數 學家在開會”. 因為COLT的領域比較小, 所以每年會議基本上都是那些人. 這裡順便 提一件有趣的事, 因為最近國內搞的會議太多太濫, 而且很多會議都是LNCS/LNAI出 論文集, LNCS/LNAI基本上已經被搞臭了, 但很不幸的是, LNCS/LNAI中有一些很好的 會議, 例如COLT.

CVPR (1): 計算機視覺和模式識別方面最好的會議之一, IEEE主辦, 每年舉行. 雖然題 目上有計算機視覺, 但個人認為它的模式識別味道更重一些. 事實上它應該是模式識 別最好的會議, 而在計算機視覺方面, 還有ICCV 與之相當. IEEE一直有個傾向, 要把 會辦成”盛會”, 歷史上已經有些會被它從quality很好的會辦成”盛會”了. CVPR搞不好 也要走這條路. 這幾年錄的文章已經不少了. 最近負責CVPR會議的TC的chair發信 說, 對這個community來說, 讓好人被誤殺比被壞人漏網更糟糕, 所以我們是不是要減 少好人被誤殺的機會啊? 所以我估計明年或者後年的CVPR就要擴招了.

ICCV (1): 介紹CVPR的時候說過了, 計算機視覺方面最好的會之一. IEEE主辦, 每年舉行.

ICML (1): 機器學習方面最好的會議之一. 現在是IMLS主辦, 每年舉行. 參見關於NIPS的 介紹.

NIPS (1): 神經計算方面最好的會議之一, NIPS主辦, 每年舉行. 值得注意的是, 這個會 每年的舉辦地都是一樣的, 以前是美國丹佛, 現在是加拿大溫哥華; 而且它是年底開會, 會開完後第2年才出論文集, 也就是說, NIPS’05的論文集是06年出. 會議的名字 “Advances in Neural Information Processing Systems”, 所以, 與ICML/ECML這樣 的”標準的”機器學習會議不同, NIPS裡有相當一部分神經科學的內容, 和機器學習有 一定的距離. 但由於會議的主體內容是機器學習, 或者說與機器學習關係緊密, 所以 不少人把NIPS看成是機器學習方面最好的會議之一. 這個會議基本上控制在Michael Jordan的徒子徒孫手中, 所以對Jordan系的人來說, 發NIPS並不是難事, 一些未必很 強的工作也能發上去, 但對這個圈子之外的人來說, 想發一篇實在很難, 因為留給”外 人”的口子很小. 所以對Jordan系以外的人來說, 發NIPS的難度比ICML更大. 換句話說, ICML比較開放, 小圈子的影響不象NIPS那麼大, 所以北美和歐洲人都認, 而NIPS則有 些人(特別是一些歐洲人, 包括一些大家)堅決不投稿. 這對會議本身當然並不是好事, 但因為Jordan系很強大, 所以它似乎也不太care. 最近IMLS(國際機器學習學會)改選 理事, 有資格提名的人包括近三年在ICML/ECML/COLT發過文章的人, NIPS則被排除在 外了. 無論如何, 這是一個非常好的會.

ACL (1-): 計算語言學/自然語言處理方面最好的會議, ACL (Association of Computational Linguistics) 主辦, 每年開.

KR (1-): 知識表示和推理方面最好的會議之一, 實際上也是傳統AI(即基於邏輯的AI) 最好的會議之一. KR Inc.主辦, 現在是偶數年開.

SIGIR (1-): 資訊檢索方面最好的會議, ACM主辦, 每年開. 這個會現在小圈子氣越來 越重. 資訊檢索應該不算AI, 不過因為這裡面用到機器學習越來越多, 最近幾年甚至 有點機器學習應用會議的味道了, 所以把它也列進來.

SIGKDD (1-): 資料探勘方面最好的會議, ACM主辦, 每年開. 這個會議歷史比較短, 畢竟, 與其他領域相比,資料探勘還只是個小弟弟甚至小侄兒. 在幾年前還很難把它列 在tier-1裡面, 一方面是名聲遠不及其他的 top conference響亮, 另一方面是相對容易 被錄用. 但現在它被列在tier-1應該是毫無疑問的事情了.

UAI (1-): 名字叫”人工智慧中的不確定性”, 涉及表示/推理/學習等很多方面, AUAI (Association of UAI) 主辦, 每年開.

---

tier-2:

AAMAS (2+): International Joint Conference on Autonomous Agents and Multiagent Systems

ECCV (2+): European Conference on Computer Vision

ECML (2+): European Conference on Machine Learning

ICDM (2+): IEEE International Conference on Data Mining

SDM (2+): SIAM International Conference on Data Mining

ICAPS (2): International Conference on Automated Planning and Scheduling

ICCBR (2): International Conference on Case-Based Reasoning

COLLING (2): International Conference on Computational Linguistics

ECAI (2): European Conference on Artificial Intelligence

ALT (2-): International Conference on Algorithmic Learning Theory

EMNLP (2-): Conference on Empirical Methods in Natural Language Processing

ILP (2-): International Conference on Inductive Logic Programming

PKDD (2-): European Conference on Principles and Practice of Knowledge Discovery in Databases

*Impact factor (According to Citeseer 03):

ECCV ：1.58 (top 7.20 %)

ECML ：0.83 (top 30.63 %)

ICDM ：0.35 (top 59.86 %)

ICCBR ：0.72 (top 36.69 %)

ECAI ：0.69 (top 38.49 %)

ALT ：0.63 (top 42.91 %)

ILP ：1.06 (top 20.80 %)

PKDD ：0.50 (top 51.26 %)

Average：0.80 (top 32.02%)

AAMAS (2+): agent方面最好的會議. 但是現在agent已經是一個一般性的概念, 幾乎所有AI有關的會議上都有這方面的內容, 所以AAMAS下降的趨勢非常明顯.

ECCV (2+): 計算機視覺方面僅次於ICCV的會議, 因為這個領域發展很快, 有可能 升級到1-去.

ECML (2+): 機器學習方面僅次於ICML的會議, 歐洲人極力捧場, 一些人認為它已經是1-了. 我保守一點, 仍然把它放在2+. 因為機器學習發展很快, 這個會議的reputation上升非常明顯.

ICDM (2+): 資料探勘方面僅次於SIGKDD的會議, 目前和SDM相當. 這個會只有5年曆史, 上升速度之快非常驚人. 幾年前ICDM還比不上PAKDD, 現在已經拉開很大距離了.

SDM (2+): 資料探勘方面僅次於SIGKDD的會議, 目前和ICDM相當. SIAM的底子很厚, 但在CS裡面的影響比ACM和IEEE還是要小, SDM眼看著要被ICDM超過了, 但至少目前還是相當的.

ICAPS (2): 人工智慧規劃方面最好的會議, 是由以前的國際和歐洲規劃會議合併來的. 因為這個領域逐漸變冷清, 影響比以前已經小了.

ICCBR (2): Case-Based Reasoning方面最好的會議. 因為領域不太大, 而且一直半冷不熱, 所以總是停留在2上.

COLLING (2): 計算語言學/自然語言處理方面僅次於ACL的會, 但與ACL的差距比ICCV-ECCV和ICML-ECML大得多.

ECAI (2): 歐洲的人工智慧綜合型會議, 歷史很久, 但因為有IJCAI/AAAI壓著,很難往上升.

ALT (2-): 有點象COLT的tier-2版, 但因為搞計算學習理論的人沒多少, 做得好的數來數去就那麼些group, 基本上到COLT去了, 所以ALT裡面有不少並非計算學習理論的內容.

EMNLP (2-): 計算語言學/自然語言處理方面一個不錯的會. 有些人認為與COLLING相當, 但我覺得它還是要弱一點.

ILP (2-): 歸納邏輯程式設計方面最好的會議. 但因為很多其他會議裡都有ILP方面的內容, 所以它只能保住2-的位置了.

PKDD (2-): 歐洲的資料探勘會議, 目前在資料探勘會議裡面排第4. 歐洲人很想把它抬起來, 所以這些年一直和ECML一起捆綁著開, 希望能借ECML把它帶起來.但因為ICDM和SDM, 這已經不太可能了. 所以今年的 PKDD和ECML雖然還是一起開, 但已經獨立審稿了(以前是可以同時投兩個會, 作者可以宣告優先被哪個會考慮, 如果ECML中不了還可以被 PKDD接受).

---

tier-3:

ACCV (3+): Asian Conference on Computer Vision

DS (3+): International Conference on Discovery Science

ECIR (3+): European Conference on IR Research

ICTAI (3+): IEEE International Conference on Tools with Artificial Intelligence

PAKDD (3+): Pacific-Asia Conference on Knowledge Discovery and Data Mining

ICANN (3+): International Conference on Artificial Neural Networks

AJCAI (3): Australian Joint Conference on Artificial Intelligence

CAI (3): Canadian Conference on Artificial Intelligence

CEC (3): IEEE Congress on Evolutionary Computation

FUZZ-IEEE (3): IEEE International Conference on Fuzzy Systems

GECCO (3): Genetic and Evolutionary Computation Conference

ICASSP (3): International Conference on Acoustics, Speech, and Signal Processing

ICIP (3): International Conference on Image Processing

ICPR (3): International Conference on Pattern Recognition

IEA/AIE (3): International Conference on Industrial and Engineering Applications of Artificial Intelligence and Expert Systems

IJCNN (3): International Joint Conference on Neural Networks

IJNLP (3): International Joint Conference on Natural Language Processing

PRICAI (3): Pacific-Rim International Conference on Artificial Intelligence

*Impact factor (According to Citeseer 03):

ACCV ：0.42 (top 55.61%)

ICTAI ：0.25 (top 69.86 %)

PAKDD ：0.30(top 65.60 %)

ICANN ：0.27 (top 67.73 %)

AJCAI ：0.16 (top 79.44 %)

CAI ：0.26 (top 68.87 %)

ICIP ：0.50 (top 50.20 %)

IEA/AIE ：0.09 (top 87.79 %)

PRICAI ：0.19 (top 76.33 %)

Average：0.27 (top 68.30%)

ACCV (3+): 亞洲的計算機視覺會議, 在亞太級別的會議裡算很好的了.

DS (3+): 日本人發起的一個接近資料探勘的會議.

ECIR (3+): 歐洲的資訊檢索會議, 前幾年還只是英國的資訊檢索會議.

ICTAI (3+): IEEE最主要的人工智慧會議, 偏應用, 是被IEEE辦爛的一個典型. 以前的quality還是不錯的, 但是辦得越久聲譽反倒越差了, 糟糕的是似乎還在繼續下滑, 現在其實3+已經不太呆得住了.

PAKDD (3+): 亞太資料探勘會議, 目前在資料探勘會議裡排第5.

ICANN (3+): 歐洲的神經網路會議, 從quality來說是神經網路會議中最好的, 但這個領域的人不重視會議,在該領域它的重要性不如IJCNN.

AJCAI (3): 澳大利亞的綜合型人工智慧會議, 在國家/地區級AI會議中算不錯的了.

CAI (3): 加拿大的綜合型人工智慧會議, 在國家/地區級AI會議中算不錯的了.

CEC (3): 進化計算方面最重要的會議之一, 盛會型. IJCNN/CEC /FUZZ-IEEE這三個會議是計算智慧或者說軟計算方面最重要的會議, 它們經常一起開, 這時就叫WCCI (World Congress on Computational Intelligence). 但這個領域和CS其他分支不太一樣, 倒是和其他學科相似, 只重視journal, 不重視會議, 所以錄用率經常在85%左右, 所錄文章既有quality非常高的論文, 也有入門新手的習作.

FUZZ-IEEE (3): 模糊方面最重要的會議, 盛會型, 參見CEC的介紹.

GECCO (3): 進化計算方面最重要的會議之一, 與CEC相當，盛會型.

ICASSP (3): 語音方面最重要的會議之一, 這個領域的人也不很care會議.

ICIP (3): 影像處理方面最著名的會議之一, 盛會型.

ICPR (3): 模式識別方面最著名的會議之一, 盛會型.

IEA/AIE (3): 人工智慧應用會議. 一般的會議提名優秀論文的通常只有幾篇文章, 被提名就已經是很高的榮譽了, 這個會很有趣, 每次都搞1、20篇的優秀論文提名, 專門搞幾個session做被提名論文報告, 倒是很熱鬧.

IJCNN (3): 神經網路方面最重要的會議, 盛會型, 參見CEC的介紹.

IJNLP (3): 計算語言學/自然語言處理方面比較著名的一個會議.

PRICAI (3): 亞太綜合型人工智慧會議, 雖然歷史不算短了, 但因為比它好或者相當的綜合型會議太多, 所以很難上升.

---

列list只是為了幫助新人熟悉領域, 給出的評分或等級都是個人意見, 僅供參考. 特別要說明的是:

1. tier-1 conference上的文章並不一定比tier-3的好, 只能說前者的平均水準更高.

2. 研究工作的好壞不是以它發表在哪兒來決定的, 發表在高檔次的地方只是為了讓工作更容易被同行注意到. tier-3會議上發表1篇被引用10次的文章可能比在tier-1會議上發表10篇被引用0次的文章更有價值. 所以, 數top會議文章數並沒有太大意義, 重要的是同行的評價和認可程度.

3. 很多經典工作並不是發表在高檔次的發表源上, 有不少經典工作甚至是發表在很低檔的發表源上. 原因很多, 就不細說了.

4. 會議畢竟是會議, 由於審稿時間緊, 錯殺好人和漏過壞人的情況比比皆是, 更何況還要考慮到有不少剛開始做研究的學生在代老闆審稿.

5. 會議的reputation並不是一成不變的，新會議可能一開始沒什麼聲譽，但過幾年後就野雞變鳳凰，老會議可能原來聲譽很好，但越來越往下滑.

6. 只有電腦科學才重視會議論文, 其他學科並不把會議當回事. 但在電腦科學中也有不太重視會議的分支.

7. Politics無所不在. 你老闆是誰, 你在哪個研究組, 你在哪個單位, 這些簡單的因素都可能造成決定性的影響. 換言之, 不同環境的人發表的難度是不一樣的. 瞭解到這一點後, 你可能會對high-level發表源上來自low-level單位名不見經傳作者的文章特別注意(例如如果<計算機學報>上發表了平頂山鐵道電子資訊科技學院的作者的文章,我一定會仔細讀).

8. 評價體系有巨大的影響. 不管是在哪兒謀生的學者, 都需要在一定程度上去迎合評價體系, 否則連生路都沒有了, 還談什麼做研究. 以國內來說, 由於評價體系只重視journal, 有一些工作做得很出色的學者甚至從來不投會議. 另外, 經費也有巨大的制約作用. 國外很多好的研究組往往是重要會議都有文章. 但國內是不行的, 檔次低一些的會議還可以投了只交註冊費不開會, 檔次高的會議不去做報告會有很大的負面影響, 所以只能投很少的會議. 這是在國內做CS研究最不利的地方. 我的一個猜想：人民幣升值對國內CS研究會有不小的促進作用(當然, 人民幣升值對整個中國來說利大於弊還是弊大於利很難說).