田淵棟：博士五年總結

演算法與數學之美發表於2019-01-19

作者：田淵棟http://yuandong-tian.com/five_year_summary_of_PhD.pdf個人主頁：http://yuandong-tian.com/

前言

田淵棟博士目前擔任Facebook人工智慧研究院研究員/研究經理

640?wx_fmt=jpeg

原文共分為六節，考慮若全文po出，篇幅較長。為了更好的閱讀體驗，故將分成六篇推文進行介紹。第一篇詳見：田淵棟：博士五年總結（一）

博士五年總結（二）

回到剛才的話題，自己剛入cmu的時候，因為種種原因沒有選到理想的導師，不知如何是好，就向師兄徵詢意見。師兄勸我說：“其實這些都不重要，重要的是你可以從他那裡學到什麼，我認為他人不錯，另外演講和寫作技能非常好。”

事實證明師兄說的話是對的。選導師，他做什麼研究並不是最重要的，比這更重要的，是人品及交流和表達能力。我導師人品相當不錯，對學生既嚴格又負責，也不拖畢業的時間。我從他那裡學到最多的，其一是演講，其二是寫作。

先來談談寫作。

以我五年的經驗來看，其實中國人寫作的最大瓶頸並不是英語能力，而是組織。論文的英語水平充其量是高中水準，多看幾篇就大致可以掌握詞彙和句型，更何況很多論文都不是以英語為第一母語的研究者們寫的，照樣拿最優論文獎，照樣在學術圈產生極大影響力。

但在組織上，我們的論文確實問題多多。我就犯過很多錯誤。其一是擠牙膏，通過堆砌句子來達成長度要求，這個可能和我們從小要求文章有字數下限有關，結果就造成文章空洞，許多句子許多段落翻來覆去同一個意思，讓人倒胃口。其二是把文章寫成技術報告，先做啥，再做啥，最後做啥，實驗結果是啥，沒了。至於為什麼這樣做，原因是什麼，是什麼激發了這樣的思考，這樣的方法對什麼樣的資料會有效，有什麼侷限，全都不知道。（潛臺詞是：是老闆讓我這樣做的，我只想畢業，有問題別來找我……）論文是要引人深思的，要給人啟發的，要讓人受教的，要讓讀者讀完後，覺得這篇文章公正地評價了前人的工作，明白這篇文章的創新意義所在，並且同意作者的出發點，認為這是一個很有前途的方向才行。

本質上來說，產生這兩個問題的原因是懶得思考。論點挖不深，導致覺得沒啥好寫只好擠牙膏；方法想不透，於是便羅列若干步驟草草了事。其實只要稍微想下，就能補上很多東西。

舉個例子，寫目標函式是什麼，如何用梯度下降優化，數學上就兩個公式，但是段落裡可以說明如何選初始點，初始點在這個具體應用中的意義何在，如何取步長，為何這樣選，收斂速度通常多快，哪裡可以加速，哪裡可以並行化再加GPU，等等，這樣內容就豐富多了。又比如，一個演算法的若干步驟，本來是毫無意義的流程圖，但在介紹它之前做些解釋，闡明設計的一些基本原則，然後在解釋每步時充分使用這些原則，那讀來就會覺得容易接受得多。

克服了這兩點，做到開局有理有據，正文言之有物，實驗讓人信服，那這篇文章基本上可以中稿了。接下來，就可以進入高階模式了。

首先，立意要高遠。一篇文章規矩著寫，說“我們加了新特徵，因為新特徵針對數據集的某些特性建模，實驗效果更好”，雖然基本可被錄用，但一般不會出彩；如果說“我們建立了新的框架，統一了以前的諸多方法，在這個框架下，演算法能自動分析資料加入新特徵，實驗效果更好”，那這篇就有戲。

為什麼呢？工業界看重效果，因為效果和經濟利益直接掛鉤；而學術界是想要為一個領域找一個簡潔明瞭的理論，是要仰望星空，問天幾何的——因此每一篇好文章，都必須建造出自己的一套世界出來，給出自己的世界觀和方法論，在這個巨集大的圖景下，給前人的工作標好地位，給自己的工作定下基調，然後拿著這張畫好的地圖，去解決實際問題。

而所謂的博士研究和博士論文，則是在一套統一自洽的世界觀下，含有兩至三篇或者更多的文章，以證明這套世界觀的合理性。

這聽起來像是忽悠的遊戲。因為像計算機視覺這種實用的領域，哪有那麼多理論可挖。是的，在一定程度上確實如此。但是建築世界觀本身，會促使研究者對已有的工作進行排列，得到新的啟發，看到新的聯絡，因此仍然是對研究本身有益的。有些表面上的聯絡可能被證明是偶然，但有些則會揭示本質，促進人們深化認識，為將來的突破性進展作準備。另一方面，功利地來說，有一個巨集大的世界觀有利於一位博士生髮大量文章，早點畢業:-)

其次，故事要流暢。我老闆說過，一篇好的文章，就如同帶著讀者在一個花園裡行走，路面平坦舒適，左邊有山，右邊有水，引人入勝，讀者漫步欣賞美景，走過亭臺樓閣，一點不費勁，一下子就逛完所有還意猶未盡。迄今為止，我對這種抽象的詩一般的表達還不能完全理解，但是既然他聲稱讀完了所有哈利波特的同人小說，而我只不過寫過一部二十五萬字的小長篇，我想我還是寧願相信他比較好-_-。

在大的方面來說，一篇文章從開篇開始，就要讓人有所期待，各種背景知識交代自然，詳略得當，指出前人工作各有缺陷，然後自身的貢獻娓娓道來，最後各種證據證明自己所言得當；或是先擺出正反證據，引人思索，指出前人各種問題，再列出自己方案，教人拍案叫絕。細節上，全篇重要的論點要適當重複，每次出現都要和上下文語境相符，無聊冗長的段落適當精簡，但必要的實驗步驟需要交代；每一段都要有總起有概括，像是花園的指路牌，讓讀者不至於暈頭轉向；不設彎路，反覆推敲邏輯關係，能用一層邏輯說清的絕不用兩層，能用簡單故事說明白的不用複雜公式，就算有複雜公式也放進附錄裡；繁簡要有計劃，細節要略寫以免讓人費解，主幹則要用重筆讓人印象深刻；插圖要不言自明，要出現在該出現的地方，能恰當地作成段落註解；語句不能太長，避免從句套從句，長短結合比較好，等等。

這裡所有的要求，都是為了讀者著想。每條單獨做起來都相對容易，但要合在一起就難，需要充分的思考和不停地修改。每過一段時間，腦中就會浮現出更好的組織方式，而這種新的組織方式，又反過來會啟發出新的理解，推進整個研究的進展。接著，各部分貢獻大小又有變化，詳略又會調整，文章又得修改，如此往復。漸漸地，才會從斧鑿拼接模樣的文章，變成一氣呵成的神作。到這個時候，寫作和研究渾然一體，寫作促進研究，研究促進寫作，才終於算是步入專家級別了。

還記得在今年 ICCV 最後期限的前一個晚上，老闆看了看我要在二十四小時之內要投稿的文章，說了一句：“組織還是有問題，要不我們不用投了。”我當時就驚了，當然不能接受這個可怕的事實，於是回去連夜修改，第二天早晨總算讓他滿意，後來這篇文章被評為 very well written，並且拿了ORAL。我不得不承認他有想推遲我畢業的小小私心，不過他對寫作的執著，可見一斑，他說過自己的第一篇投稿改了三個月，原稿他一直珍藏，對比第一稿和最後一稿，差距有如天壤。

我想正是因為如此，才能有他的這些錦繡文章。

————

來源：深藍QHi

編輯 ∑ Gemini

微信公眾號“演算法數學之美”，由演算法與數學之美團隊打造的另一個公眾號，歡迎大家掃碼關注！

640?wx_fmt=jpeg