專訪Yoshua Bengio:如何高效建立和運營一家機器學習實驗室?

大資料文摘發表於2018-09-03

人工智慧機器學習風靡全球,高校作為人才培養基地正在頂風而上,如何建立相關的實驗室,“當家人”如何管理實驗室才能最高效?關於這些問題,無論國內,還是國外的學者都在探索一條適合自己的道路。本文選自Graham Taylor對Yoshua Bengio的專訪,從他們的一問一答中,希望你能夠獲得一些經驗和思考。

Graham Taylor是CIFAR機器和大腦學習專案中的一名學者,也是圭爾夫大學工程學院的副教授。Yoshua Bengio是CIFAR機器學習專案的聯合主任,同時也是蒙特利爾大學計算機與運算系的教授,資料學習演算法中心的加拿大研究主席。

Graham Taylor (GT):你能告訴我你在系裡最初做什麼工作麼?

Yoshua Bengio (YB):在蒙特利爾大學我曾經是唯一一個從事機器學習神經網路研究的,我當時很有動力,對每一位學生都很負責。

我利用了我在學校外的人際網路,一些是我博士後之前一起工作的同事。例如Geoff Hinton和其他在多倫多的人。和同領域的人交流是很重要的,因為我是學校裡第一個研究這個領域的學者。

我也非常幸運學校能夠認可我的工作,感謝學校減輕了一些我教學上的任務。
專訪Yoshua Bengio:如何高效建立和運營一家機器學習實驗室?

GT:從一開始就是?

YB:是的,在開始的七年裡,我只用教授兩門課。然後我當上了加拿大研究主席,就只負責一門課程。我認為一邊承擔教學重擔一邊建立實驗室可能非常有挑戰性。當我有了第二個孩子時,我開始後悔自己之前工作太拼命。我對於學校裡的職位有點力不從心。現在往回看,我應該更好地平衡工作與生活。

GT: 當時學校內部有人指導你嗎?

YB:沒有,一個人也沒有。可能我應該聯絡一些年長的教授,不一定是同領域的。如果我以前沒那麼害羞的話我會嘗試獲得更多反饋。我當時沒有意識到這是可行的。新的教員應該擴充套件關係,建立聯絡。系裡也鼓勵大家那麼做。資深教員們樂於做這些,雖然他們可能不會太主動 。

GT:在這些外部關係之中,作為一個教職工你的得到的最好的建議是什麼?

YB:在我當教授的前十年裡,我和Geoff Hinton有一些互動,雖然都是遠端的。但是它們幫助了我把精力放在更重要的事情上。

如果重來一次,我不會把注意力分散在不同方向,只顧當下的想法而無視長遠的挑戰。當你嘗試立足的時候這很難,因為你會焦急地想發表更多論文來獲得一些榮譽。但是你至少要花一些時間來專注於長期規劃。如果你過度追逐榮譽和職位,很容易陷進去,從而錯過一些重要的東西。我跟Geoff的討論幫助了我意識到這點。

GT:現在機器學習應用受到廣泛關注,一些公司和合作者都帶著專案來找你,你會認為這加劇分散了你的注意力嗎?

YB:每個人都有自己要走的路。為了在某些領域變得擅長、取得突破,你必須成為一個專家。最好集中精力做一件事,然後變成這個學科在世界上最強的人。

機器學習最有魅力之處是:他可以和很多應用場景相結合。對吧?在90年代我接觸了很多應用。

專訪Yoshua Bengio:如何高效建立和運營一家機器學習實驗室?

CIFARAzrieli Global Scholar, Graham Taylor

GT:跟現在有什麼不同嗎?

YB:在九十年代,工業界對神經網路機器學習有很多興趣。加拿大教育系統鼓勵這樣的跨界合作。為基礎科學爭取了很多資金。用專案中的資金資助長期的調查研究。這不是正規手段,但教育系統給基礎研究提供的資金不足,無形中助長了這種事情的發生。我們應該賦予長期研究更多的價值,因為這將會帶領我們看到更多AI領域的驚人進展。

我再對撥款的問題補充一點。

我開始的時候意識到,當你給類似加拿大自然科學和工程研究委員會(NSERC)寫提議的時候,他們不太關心你是否會做提議上寫的東西。他們只關心研究者幾年後可以拿得上臺面的東西。

在研究中很難預測以後什麼會火,所以靈活應變很重要。然而如果和一個公司簽訂協議幫他們做事的時候就不是這樣了。因為你的主要目標變成讓你的投資人滿意。對於NSERC來說,關鍵就是做好的科研,發表,然後在研究道路上保持靈活性。

GT:在管理實驗室上你有什麼好的實踐經驗嗎?

YB:幫助。早些時候我沒有很多錢給我的博士後。選擇博士後都是有足夠知識量的,所以他們不用再花兩年時間瞭解最新情況,可以幫助管理一些比較大的團隊。

專訪Yoshua Bengio:如何高效建立和運營一家機器學習實驗室?

我們做PhD的時候沒有學習怎麼管理和帶領團隊。一件對我有益的事情是,認識到學生中那些與生俱來的領導力。有一些博士生他們樂意並且善於管理。所以有時候他們不僅僅帶一個學生,有些人經常輔導好幾個學生。

我們不應該低估年輕人的能力,他們比一些年長者更擅長做管理者。

GT:現在博士後有各種各樣的工作機會,是不是更難招到高質量的博士後。

YB:是,也不是。

GT:的確,因為大家都會被吸引到你這裡來。但是你有什麼建議嗎?

YB:我的一個原則是找那些有機器學習相關的數學或者物理背景的人,這些人學習能力很強大。所以如果你想招一個兩到三年的博士後,這些人是值得招的。他們不會在Google Brain之類的地方找到工作,因為他們還沒有展現自己的機器學習能力。這種賭博通常對我來說很奏效。

GT:你會怎樣勸說畢業生留校當博士後而不是去直接工作?

YB:如果他們來機器學習實驗室並參與研究發表,會極大地提高他們在行業裡的價值。如果這是之後他們想從事的,從博士後開始會容易得到更好的機會和待遇。

專訪Yoshua Bengio:如何高效建立和運營一家機器學習實驗室?

當然這也看人。有些博士生不用當博士後就能取得很好的機會,對吧?在這種情況下,影響因素就會變成“你想要選擇學術道路嗎”,因為金錢不是人們唯一在乎的。如果是這樣,那麼做博士後就是一個好的選擇:去學習學者是怎麼工作的,參與到管理角色甚至是資金籌集中。

產業不是一個同質性的東西。在基礎研究實驗室工作和在一個沒有那麼自由的地方工作有很大區別,你會成為一個為其他研究者工作的熟練技術員,或者為有很多開發任務的應用研究工作。產業中有很多不同種的工作,很少會是博士後會青睞的那種。

GT:但是產業中的工作人數卻似乎在增長。例如Google Brain,Deepmind,FAIR,你同意這種觀點麼?

YB:是的,很多像Element AI的新公司也是這種型別的。

GB:對於實驗室的人員規模來說,你認為多大規模是理想的?

YB:取決於教授,和管理人員的經驗。我一開始有三個人,現在有一個很大的團隊。但是這都不可能是一步到位的。所以我漸漸學會了如何管理更多的人,建立基礎設施,取得資助。

你可以根據自己的速度擴充。有些人超過五六個學生就會覺得不舒服,那也沒問題。當然當你有更多學生的時候你會發表更多文章,但是也意味著你在每個學生身上花的時間更少了,可能回報也會少一些。

團隊合作非常重要,或者說是不要用專案把每個學生分割開來,要保持靈活性來激發新的合作。這樣他們跟教授就不會是一對一的關係,他們也會是大關係網中的一部分。

GT:也就是點對點溝通?

YB:沒錯,這對大家都有利,如果資訊反饋所依的那個人經常不在,會讓團隊感覺不安,但如果他們還可以依賴另外十位同事,這將給他們創造一個更豐富的溝通網。 

GT:那麼創造這種氛圍的機制是什麼? 

YB:物理上的親近:學生要在實驗室呆著,別在家工作。讓他們能夠自由地在你所建議的範圍之外,與其他教授進行合作,開展新專案。儘量減少不同教授門下的學生之間的隱礙。讓小組變大,學生可以自由無礙地與其他教師進行討論。可以定期組織活動,如閱讀小組,研討會和外出擴充。 

GT:最近我跟個在美國工作的人聊了下共同監管,他告訴我,在美國,監管者的第一個主題是如何分配資金,但這種現象在加拿大還未出現。 

專訪Yoshua Bengio:如何高效建立和運營一家機器學習實驗室?

YB:這裡的學生費用比美國低很多,這是個重要因素,對吧?但也許它也是一種文化重要的是不去考慮資金,優先考慮合作,且不設定期望值,跟資金和合作相關的另一因素是:我對預設協議沒有信心。

換句話說,如果我們事先達成正式協議了,你我共同監督學生,他們也在此規則下看站工作,那麼臺作將無從談起。

實際上是因為我們有共同的利益,我們定期交流,然後合作才水到渠成,對吧? 能抓住某些想法,是值得鼓勵的。預設的協議關係,可能會運作的很好,但也可能像個車籠,捆綁住A和B的特定專案和他們之間的關係。而其實或許A和C之間的關係更和諧。 

比方說,在主實驗室中,我們有一個不成文的概念,即有這麼一個資金庫,你可以與任何你想要的人合作並從中得到資助。

GT:那是因為參與該專案的主要調查人員決定共享資源嗎? 

YB:我的資金是共享的,但這並非是固有模型,只是說資深教授通常更容易獲得資金,所以我自己申請了資金。合同也是如此。一天的工作結束,如果不需要為錢發愁,那麼玩樂和探索將會主導我們的行為。

首先,這不僅僅是研究,去參加研討會和會議,去參觀其他實驗室,主動些,不要等別人來邀請。

GT:這一點比較重要,特別是對新教員來說,他們會考慮其他人未涉及領域的未來發展方向,或者在現有教師和高階會員的領域,是否還可以進行這種合作。 

YB:是的。只要能與那裡的主要職員們好好相處,你去現有的團隊就容易多了。因此,如果你很欣小組精神,那麼初級職員上手很容易。他們不必為資金髮愁,可以對觀點反覆推敲,獲得共同監督,較快獲得工作反饋 。

專訪Yoshua Bengio:如何高效建立和運營一家機器學習實驗室?

GT:我想該談招收學生。如果你興趣寡淡,該如何回應?興趣濃厚又該如何處理? 

YB:首先,這不僅僅研究,也是種宣傳。去參加研討會和會議,去參觀其他實驗室,主動些,不用等別人來邀請。你可以說“嘿,我來這兒做場演講怎麼樣?”然後整個領域的人都認識你了,如果你要走撥款的正規渠道,就會涉及到這些。

這對招聘和教學都意義重大,教學的作用之一是你得讓學生了解你,特別是你目已的研究生成者本科畢業組,可以聊些都關心的事,打好關係,這樣你也清楚學生的優點,試著勸他們來你的實驗室工作。 

我手下有些來自本科院校或其他地方的暑期實習生,通過這種方式,你可以瞭解一個人是否具有研究潛力。這比僅通過一次面試來招聘要保險些,畢寬你要跟這個人籤5年合同的,不是嗎? 去年這裡有700個應用程式,今年可能會有1000個,再加上引進的幾十個。所以你必須很有條理。 

GT:最後我們想談談行業合作,你怎麼判斷合作是否恰如其分?

YB:判斷不了,只能在過了幾年後才領悟。通常情況是雙方的期待值不匹配,這一點必須謹慎,要跟企業講清楚,學術人員可以做的是什麼,重要的是,讓他們明白學術不是廉價勞力,他們不生產產品,而是通過了不起的創意實現業務轉型。所以企業要明白,這是投資的一部分,企業內部人員需要將演算法和原型轉變為產品,否則合作註定會失敗,這意味著公司需要付出更高成本,避開不談很容易,但你必須這麼做。

GT:但你想要跟新教員分享的? 

YB:聽從你的直覺。許多人缺乏必要的自信,從而與機會失之交臂。作為研究人員,我們的主要職責是提供有價值的想法來推進知識。這些想法往往隱藏在我們大腦中的某個地方,我們必須給予充足的時間,來生成這些想法。花一週的空間去思考,不程式設計,不寫作也不閱讀,專注的想想那些讓你煩惱的事情。

相關文章