編者按：隨著人工智慧的飛速發展，相關領域學術會議和期刊的投稿量劇增。面對大量良莠不齊的學術論文，研究人員又該秉承什麼理念來撰寫、評審相關領域的學術論文？以及在“破四唯”、工業界研究異軍突起等新形勢下如何調整自己的科研工作呢？為此，VALSE Webinar 2020-18期邀請了李宏東 (澳大利亞國立大學)、梅濤 (京東)、山世光 (中科院計算所)、楊明玄Ming-Hsuan Yang (美國加州大學Merced分校)、張磊 (微軟公司美國)等五位領域專家，在歐陽萬里 (悉尼大學)的主持下，圍繞6個議題開展了深入探討。本文是該次Panel討論的文字實錄。
一萬個人心裡有一萬個哈姆雷特，對於寫論文每個老師都會有一些自己的觀點，各位嘉賓是否有要補充的內容？
梅濤：第一個觀點是養成一個良好的論文寫作習慣是非常重要的。很多時候論文不是“寫”出來的，論文的寫作應該貫穿於日常的生活和工作當中，要養成一個有深度、有系統性思考的習慣，並且可以隨時把論文的想法和試驗結果記錄下來，同時這些也是證明原創的證據，所以對一個問題的思考的深度決定了論文接收的機率。有些同學養成一個不太好的習慣，臨到deadline之前最後幾個禮拜才開始寫作，從實驗結果來倒推思考工作的起因和定位，來思考工作的意義和價值，這種工作方式我是不太認可的，我覺得某種程度上這是一種“機會主義者”，這樣的研究態度也是不容易走遠的。所以每個人都要有自己的research agenda，養成良好的工作和論文習慣，不要因為一兩次論文被拒就改變你的長期計劃。
最後一個觀點是論文要極致精煉，要有準確的定位，闡述要儘量簡潔，要有一個比較深度的洞見。寫論文的話，一篇論文只要有一箇中心就可以了，超過一箇中心的話就要寫成兩篇論文。如果一句話不能夠總結出自己的工作，那就回去再好好想想，包括我自己的很多學生也存在這個問題：老師問這個工作到底是什麼，他描述了十幾分鍾都不能夠表達的很清晰。所以如果不能夠用簡單的一句話來表達你的中心思想，不能夠非常精煉地去講述你的內容，那隻能說明你的思考深度還不夠，凝練的精度還不夠。
李宏東：我很少總結過寫作心得，但我感受最深的一點是：作為作者，同時也是審稿人，同時也是community的成員，我們有多重身份，當然更多的是讀者，因為要讀其他人的文章。寫一篇文章不包括research的時間可能只花兩三個月、三四個月，但是你要意識到這篇文章在雜誌、會議要存在10年、20年，很多人都要去讀，從這個意義上來說，寫的時候要非常用心。怎樣讓文章變得更容易被理解，能夠讓讀者受益，在寫的時候應該時刻站在讀者的角度。當然，首先可能考慮的是審稿人會不會喜歡，會不會挑缺點，但是長遠來看，更應該為這個論文著想，想一想這個文章是否真的有啟發性，是否有影響力。只有每個人都這樣去想，整個學科才會比較健康地發展。這算不上什麼心得，也許這就是一種秘訣，一種如何把文章寫的更有意義的秘訣。
張磊：寫論文是科研工作裡很重要的一部分，不要把它完全割裂開，但是也不要把它本末倒置，研究工作還是更重要的。我認為每個人心裡應該有一個長時間、持續最想解決的問題，所有的工作應該是由這個信念去驅動的，只是在做的過程中需要把你的工作做一個完結，做到一定程度把它打一個包呈現給大家，這實際上是反映研究工作進展的一個非常好的方式，我認為大家寫論文的目的應該從這種角度出發。
02
中國學生寫論文最容易犯的毛病有哪些？
楊明玄：有些學生對單詞的真正意思不是很清楚，還有比如說 culture也不是很清楚，所以有些人認為一定要講excellent的詞才會讓別人印象深刻，其實不見得需要這樣，用很多不需要的形容詞反而會讓大家覺得很反感。只要你研究的結果、數字擺在那邊，大家就會去看了。寫的時候要小心，不要講別人不好，哪個方法fail或doesn’t work都是很刺耳的，可以用不同的表達方式比較圓滑一些，不要講outperform別人的方法a large margin之類，不要講很誇張，只要很樸實地去寫論文就可以了。有些字的真正意思要了解，用詞要小心一點，不要用錯字，基本上那些equation沒什麼問題了。另外有些人不注重論文中圖的美感，他覺得functional夠就可以，但其實不見得，跟寫文字一樣，每件事情都要很小心，甚至文章中的圖，旁邊的邊white space不要太大，這都是一些問題。只要你能把它做得更好就做得更好，不要著急，那種很死板的寫出來的文章是很失敗的，我覺得這個很重要。
如果講常見錯誤的話，我覺得還是有好些常見的錯誤的，在slides的FAQ中，因為我每次改完以後就發現怎麼大家都一樣，怎麼出類似的錯誤呢？還是說大家的想法都是很類似的？所以後來我覺得要整理一下，每個學生我要改同樣的錯誤我受不了。不過我基本上覺得學生寫的還好，只是說常見的問題就是比較冗長，不是很簡潔，讀起來就很無聊，還有用錯字，基本就是這樣的。
李宏東：這個問題是中國學生寫論文最容易犯的毛病，我手下的博士生有中國學生也有本地學生，可能大家都有一個誤區覺得中國學生由於語言習慣的問題，英語不是母語，在寫作上會吃一些虧。憑我自己的觀察，這個斷言在十幾年前、二十幾年前剛剛來的那些中國學生是有這樣的特點，但是我相信大家也都觀察到最近CVPR的中國第一作者的比例應該已經超過了50%，這是一個大致的估計。從錄取的文章上看，已經不太容易區分是中國作者還是國外作者寫的。而真正是非英語為母語的國家比如說西班牙、義大利的作者，並不見得有英語的優勢，這可能是我們以前的一個誤解。我想表達的是現在大家的英語寫作水平都提高了，反而要真正關心的是在文章內容的邏輯連續性上。有的時候尤其是一年級的中國的PHD學生剛剛開始，我發現要花比較大的精力手把手地教學生，當你前面確認你要做這個，後面要有驗證，要做一個總結。這種邏輯思維的習慣、邏輯推理的習慣是要重點訓練的。當然同樣的情況，透過半年、一年的訓練，第二年基本是要學生放手去寫的，因為他有這樣一個長進。也許國內的培養訓練的過程，尤其在碩士或者高年級的本科生的階段，這些嚴謹性、邏輯性要加強一些。當然，一般來說我不認為中國學生有什麼要特殊注意的地方，人人都有這個缺點。
03
做科研和寫論文的關係是什麼？為什麼要寫論文？
張磊：我認為寫論文是科研工作的一個組成部分，需要透過寫論文的過程對自己的工作有一個提煉和總結，沒有論文的話，科研工作很難是非常完整的。我不知道大家有沒有意識到很多教科書裡面大家看到的非常簡單的定理和證明，背後都是由論文一個一個串起來的。在人類歷史中，尤其是近二三百年的歷史中，整個科研的過程是靠論文的發表和促進交流，一點點把研究結果累積起來的，所以論文是非常重要的一個過程。
另外我想強調的一點是寫作實際上是在輸出知識，做實驗也是一種知識往外的輸出，你只是在腦子裡面想有時候不見得能想清楚。如果說我們理解一個方法或者一個問題，最好的方式就是給別人講一遍，這是能檢驗你是不是對這個問題真正理解的方法。論文寫出來也是對研究工作的一個考驗，你認為的這個創新點能不能把它寫下來，然後有足夠強的證據來支撐它，包括實驗，包括邏輯上是不是有足夠強的能夠讓人比較信服的點，我覺得這是非常重要的訓練過程。
梅濤：我非常同意張磊老師的觀點，寫論文只是科研中的一個環節，但是是很重要的一個環節。通常我們講到科研是一個很長的鏈條，就像在我們做供應鏈一樣，包括你的idea是怎麼產生的；idea產生之後要做一系列的調研，要清楚的知道自己的位置，同時要做很多的實驗去驗證你的想法；然後實驗如果好的話，你要把它完整的、有邏輯的寫出來；寫完論文之後，如果論文得到發表，你要去會議上跟同行交流，吸收更多的觀點，認識朋友形成自己的朋友圈，回來之後再去形成一個新的idea。這就是一個閉環，這是一個很長的訓練過程，而論文的寫作作為其中的一個環節是不可或缺的。論文是我們學者的一個產品，當然現在我們還有很多其他的產品，比如可以寫成technique report，可以arXiv，也可以把自己的code在github上面去publish讓別人在community裡面去使用。但不管怎樣，論文是一個非常好的能夠證明你自己的領域、能夠有自己的identity和標籤的作品，透過論文還可以跟世界上很多頂尖的學者進行交流，也能夠促進自己有一個比較好的影響力，所以寫論文是科研非常重要的一個環節。
另外，論文的寫作是思想高度凝練的過程，是培養我們自己系統性思維的過程，也是深度思考的過程，所以我認為寫論文是一個非常重要的訓練過程。而且，我覺得很少有人，特別是年輕的學者和在讀的學生們，心理上能夠承受一年、兩年甚至好幾年都沒有成果、都沒有論文發表的過程，所以論文的寫作和發表也是逐漸積累信心的很有必要的東西。
04
李宏東：的確，工業界越來越成為人工智慧和計算機視覺研究的主力，並且憑藉計算資源，資料和人力的優勢，“碾壓”大學等學術機構。對於這種現象，從學校方面來說，首先應該是要承認、接受並且擁抱這種變化，實際上是好事，如果有谷歌和微軟加入，對整個學科的發展絕對是一件非常正面健康的事情，事實也的確這樣，谷歌有更多的TPU、GPU，有更多的資料，FaceBook有資料。學校一方面要跟企業合作，一方面要意識到直接的競爭是不可能的，就像打仗一樣，你不可能拿你的弱點跟對方的長處去比。但是學校有學校的長處，學校有更多選擇課題的自由，更多的靈活性。我知道現在大家尤其是學生髮論文有壓力，但是至少在學校裡如果你兩年不發文章，你的老闆不會把你怎樣，畢竟博士要讀四五年，通常也沒有具體明確的文章的數目，所以在這個意義上可以充分利用這個優勢做一些更加長遠的計劃，做一個2年、3年才能完成的研究。按照我的理解，雖然我沒有工業界的經歷，但是在工業界總會有一個KPI的壓力，6個月發文章，我的學生在騰訊都有這樣一個KPI，那有可能是個缺點。
楊明玄：在工業界裡面除了一些小團隊以外，基本上不是以publication為主的，因為就算在谷歌、FaceBook和貝爾實驗室裡面，大家都知道只有一小部分focus在publication上面。谷歌裡基本上不會說以publication為主，它還是以product為主。當然，你做research它不會反對你，因為你的resource相對來講不會那麼多，它們還是希望做product比較多，當然谷歌有很多部門，而且研究人員很多，所以整體來看論文很多。但以個人角度來看，不是那麼多，所以不同的人做不同的事情。在工業界很少會同一個問題做很久，所以沒有連續性，這是很直接的東西，大家應該都蠻清楚這一點的。當然，在學校裡面可以一直做一些問題，只要你老闆同意的話基本就沒什麼問題，但是在工業界就不太一樣，他們會集中精力在一些problem上面，不是說你要做什麼就可以做什麼。當然，有些題目最好在工業界做，因為需要大量的TPU和GPU，所以那些問題你在學校就很難做，比如NAS，不過在學校還是有人做，如果你想做的話還是可以想出一些方法來解決，只是說會比較辛苦一點。我只能看的出來連續性，工業界基本上會把一個東西做的很精，它要做到product，所以它有很多detail focus在那邊，publication的話只要有idea，之後很多人會覺得說engineering work，然後就可以去做，然後就可以move on to next paper，在工業界的話就很難了。每個人喜歡做的事情不一樣，所以各有好處。
梅濤：不管我們在哪裡做研究，追求的都是同一個東西，就是impact，這個impact有很多維度來衡量。以前在微軟，或是在京東，我們衡量impact同時有很多角度，通常主要會看兩個角度：一個角度就是你的技術的長期領先性，就是說如果你claim做基礎研究的話，那麼你的研究是不是領先的，是不是在探索一個非常新的方向，給學術界很多的insight，有很多人follow你的工作（也就是pioneering或seminar的工作）；第二個角度是你的研究是否可以在某個階段能夠成為一個產品，這個產品被很多客戶或消費者來使用，進而產生了巨大的商業價值。我覺得這兩個維度是今天特別是在工業界的一個研究員是不是做的很好的重要標誌。當然，很多時候我們也看到一些人可能在兩個維度上都做的很好，可能走的是中間45度的一個夾角，這些人是非常幸運的。
在工業界，我們做的研究通常是場景驅動或產品牽引，所以在工業界我們更關注的是12個月、18個月以後的產出，特別是我們現在做computer vision實際上是比較偏應用的一個領域。在高校和科研院所，我建議可以更多關注一些非常基礎的、本質的研究，在高校通常有很多不同的學科，因此如果可以做一些跨學科的、交叉學科的研究，往往是可以帶來很大的技術突破的；而這種研究在公司裡是很難去完成的。如果高校裡面過多地去關注一些應用型的研究，就是用自己的短板去跟別人的長處來競爭了。
另外，通常很多人認為在工業界裡面有很多的大型的GPU叢集或者計算資源，其實我看到的情況反倒不是這樣的，因為在公司裡面用的每一臺機器都是有成本核算的。我反而看到很多學校在做一些超級計算中心，這些中心裡面有很多非常powerful的機器和海量儲存，這個反而是在工業界也非常稀缺的資源。所以我建議研究機構可以多建一些這樣的super computing的中心，並且請專業的人來管理運營，這樣老師和學生們都有很多資源，也是可以在某種程度上“碾壓”工業界的。
山世光：我認為現在學術界確實到了一個需要反思自己該如何去和工業界進行區分性研究的時候了，因為在現在這樣一個階段，工業界也做了非常多的應用性甚至是基礎性的研究，但是我認為工業界和學術界的導向還是有差異的，工業界更多的應該是應用和產品導向的，而學術界更多的應該是產生新知識為目標的一些工作。所以，對學術界來說，不應該再去做那種已經被證明了的工作，比如堆大資料、用大的算力等等，這些可能直覺去想就會work，就能夠帶來效果，這樣一些工作也許就不太適合學術界去做，學術界應該更多地去考慮比如是不是所有的training，包括NAS，都必須要有大規模的叢集才能夠去做？有沒有更elegant、更加高效的做法？包括我們需要去反思資料驅動的方法，這類靠錢、靠資源、靠算力來解決的問題，也許比較適合在工業界，而對學術界可能需要更多地去類比人、去借鑑人腦的一些特徵，去尋求能夠媲美大資料、大算力的新方法。簡單總結一下，我認為學術界更多的要去做探索新可能、產生新知識的工作，一方面是利用已有人類知識，另一方面是要產生新的insight、新的知識，這樣的一些工作才是學術界應該更多關注的。
05
期刊的分割槽、影響因子、行業內的口碑認可度這三者該如何權衡利弊呢？比如IJCV今年分割槽降到了二區，影響因子也降到了6以內，但儘管如此，它仍然是CV領域公認的期刊，投稿錄用難度也大於其他一些一區期刊。再比如CVIU，業界認可度也比較高，但是三區影響因子較低，錄用難度也高於其他三區期刊甚至一些二區期刊。像這樣的期刊，和其他的一些期刊相比，是不是投稿的價效比較低呢？
張磊：這些會議或者期刊來說影響力因子在做計算機視覺的同行裡面基本上都是頂級的會議或者期刊，但是這幾年大家傾向於往會議上發表，因為所有的工作，希望快速得到反饋，甚至於大家還沒有發表，就先把它放到arXiv上，這個都已經成為一個趨勢了，大家都在追求快速的迭代。某種情況下來說對整個領域的進展速度有促進作用，應該是一個好的趨勢。期刊的好處是可以把你的工作更好地去總結，能夠擴充套件，做得更完善。因為在論文評審中有評審的限制，沒有辦法要求你做major revision，在期刊的過程中實際上有這樣一個機會，可以有一個完善的過程，這兩個有互相補充的作用。但是我認為總體能看到這個趨勢，會議在超過期刊的影響力的，尤其是在計算機視覺這個領域，或者AI有關的會議領域，其他領域期刊還是起了很重要的作用。
另一方面這個會議之所以變得影響力越來越大，也是一種研究模式的轉變，大家在往deadline driven的這種研究模式發展的一個過程，因為會議總是有一個確定的截止日期。很多同學或者一些實驗室，基本上被一個會議週期一個會議週期去驅動著做，其實不需要你的導師或者其他的人來強迫你一定要完成，因為他有自己足夠大的動力要把這些工作完成的，所以希望第一時間發在大家最關注的會議上面。
山世光：首先我的感覺還挺奇怪的，為什麼IJCV的影響因子和PAMI的影響因子之間差距會變得這麼大，PAMI的影響因子好像變成了17，IJCV不升反而降到了7以下，我非常懷疑是不是影響因子的計算方法本身有問題，也就是評價本身出了問題。當然，我不完全瞭解這個影響因子的計算方式是什麼，好像與期刊過去一年文章的被引用數和文章數等等相關。如果我沒記錯的話IJCV應該是雙月刊，它的文章數相比PAMI是要少很多的，不知道影響因子是否與這個有某種隱秘的關係。從我個人的感覺來說，IJCV和PAMI沒有那麼大的差距，絕對不是說幾倍的影響力的差距，而應該是差不多平起平坐的。現在出現了這樣的問題，我們作為業內人士，應該去懷疑或者去質疑這個影響因子的計算方法本身是不是有問題，而不應該讓我們的同學、老師覺得好像IJCV不行了，我不這麼認為。
06
在當前倡導破四唯的導向下，寫論文不重要了嗎？清理“唯論文、唯職稱、唯學歷、唯獎項”俗稱“破四唯”。
張磊：寫論文字身還是非常重要的一個過程，是研究的一個重要組成部分。破四唯的問題比較複雜，這是一個評價體系的問題，怎麼去衡量一個評價體系的智慧，這是能不能對研究人員提供足夠大的空間、提供足夠大的信任情況下，允許大家比較自由地做研究。如果這個評價體系不能改變的話，大家還是要被驅動著發更多的論文，因為論文是最容易被數出來的，而論文的質量是在同行每年的peer review，即使是評oral或poster，你也很難在當時評價出來，這更需要同行的智慧去集體的評價標準，這個更重要。不是論文不重要，而是這個評價體系，因為大家都是在一個學術團體裡面，需要一起來努力做一些改變。
山世光：這確實是一個比較複雜也比較敏感的話題，但是我的基本觀點是論文還是非常重要的。從評價體系的角度來講，關鍵在於我們不能拿同一套標準去評價所有型別的科研人員，因為確實科研人員是有不同屬性的，有些屬性的科研人員可能更多的會去解決工程技術問題，有些則是從事非常非常偏基礎的研究。不同屬性的科研人員的評價標準應該是不一樣的，我們應該鼓勵多元化的評價方法。有些科研人員能把一個新的系統創造出來，新的裝置做出來，這對科學社群來說同樣非常重要，也許他的評價體系就不應該是論文。但是如果是偏基礎研究的話，論文的重要性是顯而易見的。例如，如果沒有Yann LeCun在80年代末期發表的convolutional network的工作，沒有在這之前Fukushima在1980年發表的Neocognitron，沒有他們這樣的一些論文的發表的話，包括沒有AlexNet在2012年非常清晰的發表的話，我想我們也不會有今天這麼火熱的AI的第三次熱潮，所以論文肯定是非常非常重要的一個角度，重要的是我們怎麼去用它來作為一個評價的標準。
當然，破四唯對大家的一個警示我認為是確實不能簡單地拿數量來作為一個評價的方法，而更多的要去考慮這個論文的實質影響力。這種影響力可能體現在它被同行關注的程度，比如被引用的情況；也包括它對於學科的完備性所做的貢獻，比如它是不是被寫到了教科書裡作為一個基礎的知識來被廣泛地採納了；以及它是不是能夠給別的研究者帶來一些啟示，有更深刻的insight，啟迪了更多的工作，比如說Fukushima的Neocognitron和Yann LeCun的convolutional neural network，可能關注Fukushima的人沒有那麼多，但是他的論文確實啟發了Yann LeCun的CNN的提出，本身價值也是不可估量的。
所以，特別是對青年學者和研究生來說，可能需要逐漸地去過渡到一個代表作文化，從過去數多少篇文章到大家去看業內的同行提起來你會想起你的什麼工作，就像一杆旗一樣插在你的後背上，看你的旗子上寫了什麼工作，看到你就能想起來你的這個工作。我認為這樣一個代表作文化會越來越重要。包括像計算機視覺專委會現在評新銳獎，評獎委員會也已經在貫徹這種文化和評價理念，我們希望申請人就講一個自己的代表作是什麼，這個代表作怎麼影響了相應的community，如何對這個學科的發展做出了貢獻等等，從這些維度來看可能會變得越來越重要。
簡單總結就是“破四唯”有對的地方，但是我們要去看它在現實的評價體系裡面如何應用，包括如何體現多元化，包括我們希望說不是唯論文，但是唯優秀論文恐怕沒有錯。