Facebook AI 研究院負責人:相比百度和谷歌,我們有哪些優勢?

佚名發表於2016-02-03

編者按:本文由張巨巖翻譯自Quora。

Facebook AI 研究院負責人:相比百度和谷歌,我們有哪些優勢?

SerkanPiantino,FacebookAI研究工程部主管,Facebook紐約部主任。曾是BridgewaterAssciates公司的投資合夥人。之前負責領導開發Newsfeed、Newsfeed排序演算法、Timeline和Messenger的基礎設施建設等。

Serkan Piantino 在 Quora 上對關於 Facebook AI 研究院的問題給了詳細的解答,新智元整理如下:

| Q1:FacebookAI研究院(FAIR)有哪些最有意思的專案?

有很多有趣的東西,但我會突出一些亮點,還有一些用途廣泛的、令人興奮的專案關鍵點。

首先,在感知方面,我們構建了能理解圖片、影片、聲音等等外界輸入的系統。Facebook網站上也有一些示例,例如,我們構建了能夠回答圖片場景相關問題的系統,這裡是我們近期在參加MSCOCO挑戰賽時用於分割和標記物體的系統所生成的圖片。

Facebook AI 研究院負責人:相比百度和谷歌,我們有哪些優勢?

Facebook AI 研究院負責人:相比百度和谷歌,我們有哪些優勢?

Facebook AI 研究院負責人:相比百度和谷歌,我們有哪些優勢?

這類東西——完成了人類認知任務,如標記、對高維輸入(畫素、影片幀、音訊樣本等等)回答問題——近幾年被廣泛地使用,特別是使用了卷積神經網路這類技巧後。卷積神經網路是我的同事YannLeCun很早以前發明的,後來因為GPU處理海量資料的強大能力而變得很實用。這很令人興奮,因為它的進步速度十分快,而且這也開闢了以往沒有的新產品領域——能夠在Facebook上理解文字和意圖的產品領域。

我們也開始逆向應用這些網路,讓它們從一段文字描述中想象場景或圖片,而不是從圖片中總結出文字。以下是FAIRySoumithChintala和波士頓的indicoResearch的一些合作成果,它生成了AI自己想象出的臥室場景。

Facebook AI 研究院負責人:相比百度和谷歌,我們有哪些優勢?

而且這些網路也被用於生成面部影像、專輯封面、花、中國漢字甚至還有二次元角色影像。

下一件我想突出的事情是我們賦予這些網路類似於人類記憶和推理的能力。FacebookM專案中一些自動化部分是依靠記憶網路的,這一工作是被FAIRy的JasonWeston發表出來。為了處理長對話,我們不得不理解每段文字的意思,而且為了我們以後也能查詢這些內容,我們也需要儲存和訪問它們。這些記憶網路是在時間中學習如何創造並查詢既定事實的一系列網路構建方法的一部分。如果說我們傳統而無狀態(stateless)的方法看起來像是在時間的推移中學習構建簡單電路的話,那麼這些網路看起來就像是完全的自主佈線處理器(full,self-wiringprocessors)。我們也有一些關於這種網路讀故事並隨後回答問題的網路示例。

最後,我們從Facebook本身也學到很多東西。Facebook有15.5億使用者,他們之間的相互聯絡和對外部世界的發掘給了我們絕佳機會來研究人類。作為一名工程師,將系統擴充套件到整個Facebook社交圖上並從中學習讓我非常興奮,而全球唯一能夠做到這一點的地方就在這裡。我們還有很遠的路要走,但我們希望在工作(預測和理解Facebook社交關係圖)中學到更多關於人們的東西。

這無論如何都不是所有的有趣研究,但是它們是我個人喜歡的一些亮點。

| Q2:你對有興趣進入AI實驗室的工程師有什麼技能要求和個性要求?

根據我們的經驗,在FAIR的工程師首先應該具有一名強大的Facebook工程師所有的特點——如聰明、勤奮、適合我們文化、能將抽象想法轉化為可用的電腦程式碼。有了這些,我還需要尋找:

有一些機器學習的基本背景,作為理解你周圍其他語言的基礎;

對相關領域的強烈興趣。對你所從事的東西有強烈興趣;

具有天生的好奇心——閱讀文獻,跟進科學進展

快速習得新研究工具(如CUDA,Torch)而不只是學習它們,還要從事改進它們的工作。

| Q3:在紐約,像Facebook這樣的大型科技公司和初創企業之間的關係是怎樣的?與矽谷有什麼不同?

最重要的一個地方是建立這個領域的生態系統和創業氛圍,而且創新是人們承受他們生涯中真實存在的風險並控制它們的能力。理想狀態下,人們在“從創立一個企業並從頭學起”到“加入能提供更多穩定性的大公司並幫助他們從以往的成功中學習”的過程中有很多選擇。

在過去的幾年裡,我們看到了NYC的巨大成長,不僅僅是初創公司還有更大的機構,如FacebookNYC。結果是,這個生態系統變得越來越完整,而且我認為你也會在不同公司和創業領域(矽谷的標誌)中看到一些和諧而積極的行動。

所以,總體來講,我會說它正快速向矽谷,或者說是技術生態系統,這類的關係方向發展。

| Q4:在接下來的5年裡我們預期會看到哪些AI產品?

現在有很多神奇的產品,但現在大部分產品所具有的能力是很原始的。這些產品正用很多種方式轉化為Facebook的產品,但是我們需要做更多才能將這些技術挖掘出來,進而將人們天馬行空的想象轉化為真實的產品。現在,一些AI公司太貪心科技研發以至於他們沒有釋出任何東西。

所以,接下來的5年裡,很多我們在研究社群中討論過的東西預計會變成更加普及和商品化的技術,也會有很多新初創公司(還有我們的團隊)盡他們所能來用AI改善生活。

| Q5:剛從大學畢業的人想要進AI實驗室還需要掌握什麼技能?

對於FAIR或者其他工程領域來說,我們不特別要求學士或碩士學位(甚至類似的大專學歷)。總是有辦法證明你所具有的、在招聘時值得我們注意的能力,雖然在電腦科學或機器學習方面的頂級專案中取得優異成績是我們注意到世界上最好人才的常見方式(很顯然)。

至於具體技能,見我之前的回答(Q2)。

| Q6:相比百度AI或谷歌AI,FacebookAI有哪些優勢?

我認為有一些結構方面的優勢:

我們已經特別擅長硬體、軟體、開發平臺和基礎設施的建設來加速團隊工作效率;

我們有全球最大的跨文化、多模態、結構化、有組織的人們互動的資料庫;

我們100%承諾會用5到10年時間來開拓AI領域,而且開源並發表我們所有的技術以供行業使用。

| Q7:紐約科技比矽谷好在哪?

在紐約,我們有繁榮的科技社群,還有很多其他產業。當產品的客戶和開發者之間有高頻率地接觸時,一些很好的產品和創新成果會被研發出來,因此如果你想要在為數不多的億萬美元級的產業中有所作為的話,紐約是一個合適的選擇。

在FacebookNYC,我們能首先目睹這一切。幾乎我們所有的大型團隊所關注的產品都因紐約(當地人、新聞和出版商)而獲得利益——負責AI研究和移動裝置基礎設施的團隊要麼和當地產業有緊密合作,進而開發有關城市環境體驗的產品,要麼以東海岸豐富的人才為中心(如AI研究院或移動工程)。

| Q8:在FacebookAI實驗室工作是怎樣的一種體驗?

如果我畫一個色譜圖,一端是小型個體研究專案,中間是很多研究人員或工程師的合作專案,另一端則是大規模團隊專案和用於產品的系統,在這個色譜圖中,我們會有很多專案同時進行。事實上,任何個體研究人員或工程師經常一次性參與很多專案的很多階段。我們討論過很多次的話題是,想法“傳送帶”將原型變為Facebook的產品,這也是現在FAIR的一個特色。

雖然這讓管理者的工作變得很複雜,於是在MenloPark、紐約和巴黎有了一些辦公室,但是這對我們每一個參與的人來說是很興奮的,也有成就感,因為有很多種不同的方式來推進科學。

| Q9:讓一個遠端團隊變得積極、緊密聯絡並有高生產力,有哪些好方法?

這裡是一些技巧:

團隊結構很重要。分情況對待,遠端團隊中的單獨個體感到受挫的頻率以天為計算單位;需要遠端管理的一小波人所組成的團隊感到受挫的頻率以周來計算;遠離主管或其他機構領導的一個完整團隊感到受挫的頻率以月計算;一個完整的機構,還具有自主性、遠見和決策制定有可能永遠也不會感到受挫;

人們需要週期性“全面同步”,特別是在關鍵時期,例如做出了一些決定或某些計劃被合併了。這些同步之間不能相隔太久,否則有可能存在風險,如團隊成員做錯事或沒在相同的節奏上;

遠端管理會感覺十分陌生而且具有強制性。你需要嘗試拜訪你的團隊,再三確定他們是決定製定過程和組織變化過程的一部分,因為如果你不這樣做,他們傾向於將這些看做是公司總部的強制命令(這會讓人感受到封閉);

僱員旅行訂票時不要有冗長的條條框框,鼓勵他們經常旅行。他們比你瞭解應該何時到目的地更好。

強調他們的自主性,並保護它。如果他們感受到你的信任的話,他們會給你驚喜的。

| Q10:在你所知道的一些最成功的工程師中,有哪些共性?

好問題。經過與一些很厲害的工程師共同開發很多專案後,這裡是我注意到的一些趨勢:

軟體工程師主要擴充套件的方式——還要記住在生產力方面可以有10或100的差距——是處理程式分塊(chunking)。一個會思考和熟練寫程式碼的工程師與一個在整個演算法或系統的思考方面有經驗的工程師相比,後者效率更高。為了真的將一些事情組塊化,首先應該掌握它,因此最好的工程師不僅僅能從抽象角度來描述系統,他們準確地知道內部每一塊是如何運作和相互影響的。

偉大的工程師都有第六感,這種第六感是關於何時何地來建立抽象部分。他們將程式碼看做是開發過程中最自然和最有靈活性的表達方式,而這一點不僅讓他們在保持程式碼的可讀性和簡潔性方面很細心,而且也讓系統因精心選擇的抽象方式而更具力量和靈活性。

他們自己有很多工具。因此,解決問題更像是選擇不同的工具,他們明白這一點,也在不斷地擴大自己的工具庫。

他們易於合作且很成熟。這個工作的很多部分是交流併成為可靠的隊友,因而個性是十分重要的。偉大的工程師不需要是性格外向的人,他們不需要友善和易於相處,他們也不需要渴望成為管理者。但他們必須清楚如何用開放而相互尊敬的方式來與他人合作。

| Q11:你對一家考慮建立遠端工程辦公室的公司有什麼建議?

我觀察到,一些公司在成長過程中感受到壓力,不管是內部(來源於那些想要離開的職員)和外部(來源於那些如果公司要搬走,他們就不加入公司的候選人),而且在這些時候,租用一個共享空間並讓這些人成立一間新辦公室這一選擇是很誘人的。

不幸的是,這保證了辦公室在公司尷尬但很小階段的成長過程中比較有用。這樣的工程師將來的工作有可能都要透過遠端團隊來完成,這會導致低效率和受挫感的出現;也有可能辦公室被強制專精某一產品或領域,這樣的話,辦公室後來很難有成長。

因此,我對公司的建議是等待,然後當你知道你可以衝刺為一個舒服的、可持續的規模時,謹慎地設立一家辦公室。在FacebookNYC,我們用了4年時間從0成長為350。我們一直快速地僱傭人才、設立更多和更深的研究專案,讓我們每一位早期工程師成為定義這家辦公室的一部分,因為這家辦公室就是圍繞他們而建立的。這使得FBNY更像是一家大公司內部的快速成長的初創公司,而不是一個被遺忘的小型機構。

| Q12:為什麼紐約部不像矽谷一樣開發具有野心的技術(如,自動駕駛車)?

首先,讓我指出一點,電晶體——整個數字和資訊時代的基石——是在紐約的郊區被發明出來的。

總體來說,矽谷受益於以技術為中心的高密度和專業化機構,然後再加上健康的基礎設施和將想法轉化為產品和可持續企業的生態系統。

紐約的優勢是多樣性,技術同比增長為40%(考慮到招聘),再加上以這裡為中心的過剩的其他產業。大型科技公司,如我們(Facebook)也在茁壯成長,因此創業的生態圈、資金的基礎設施和對創意的培育在近幾年中呈現了爆炸式增長。

我期待具有野心的創意——特別是那些能夠解決世界性問題的想法,如健康護理、政府無障礙通行、教育等等——在接下來的10年裡在這裡成長,豐富這裡的多樣性,進而為這裡的科技和創業精神產生巨大影響。

| Q13:如果讓你告訴那些對AI十分感興趣的初學者一件事情,它會是什麼?

現在這一研究社群有很多興奮的進展,因為一直有新的發現被公佈,基準測試結果被不斷重新整理。但是你不需要發明一些新的東西來從事AI工作。你需要複製這些成功的工具都是開源的,而且很有可能你想要的網路在Github上是開放的,而且是預訓練好並隨時可用的。

檢視一下程式碼;鼓搗一下模型看看會發生什麼;在社群中問問題。這個領域需要更多的實踐者,和更多的人來將這些發現變為有用的產品。

| Q14:執行Facebook新聞紀要(Newsfeed)專案是怎樣的體驗?

我必須指出,NewsFeed專案最初成立是在2006年,那時我還沒有進入Facebook。這個故事也基本上傳開了,因此如果你有興趣的話,你應該能在Quora的其他問題中找到關於那些天的描述。

我在2007年才開始從事NewsFeed專案的工作,幫助重寫了後端部分,開發了排序演算法,領導了幾年的團隊。這是我生涯中最好的體驗——我無法表達出這讓我多麼自豪:你關於人們如何和為什麼相互聯絡的想法被採用,接著一路編譯到C++中,讓億萬計的人實時得到他們所關心的內容。

| Q15:在Facebook開發AI產品的過程中,用到了那些程式語言?

我們在FAIR用到了很多工具。主要有:

Lua(和Torch),用於原型製作、訓練、除錯、視覺化等等;

CUDA,用於編寫高效能模組,GPU最佳化模組;

C/C++用於低層的編寫,Caffe用於產品;

Python、Matlab和一些其他工具用於一些專業的工作中;

| Q16:今天最富有挑戰性卻最簡單的AI問題?

非監督學習。

我們今天構建的幾乎所有的東西都被我稱為專業AI。我們有某個任務的足夠樣本,接著我們訓練電腦在沒有我們的情況下完成任務。在我們的AI示例中沒有顯示出來的一件事是我們在人力標記圖片、標記影片資料集等等方面花費了多少精力才讓機器得到了足夠資料來學習完成某個任務。

人類真的不是這樣學習的。我們能夠透過看、感知和體驗現實來理解世界並在世界中進行活動。如果我們想要造出類似通用AI的東西的話,我們要弄清楚如何從簡單的觀察中進行學習。換句話來說,我們要開發出一個不需要人類標記來“監督”的系統。

我不認為有人真正破解了這個問題,雖然有很多人嘗試,而且我們的模型和電腦要想成功處理這類問題,有可能還要變強大10或100或1000倍。

| Q17:FacebookAI研究院珍惜其研究人員發表的學術文章嗎?

當然,我們在評估中很珍惜研究所帶來的影響,也珍惜產品所帶來的影響。我們無法完美的測量這些,但我們有一些方式。如果你的產品有影響,它可能為很多使用者服務,帶來了很多互動或者作為一個平臺吸引了很多使用者。如果你的研究有影響力,它可能會有很多次引用,在開源社群中有很多人使用它,或者在Facebook中有很多產品團隊在嘗試將其應用到產品中。

注重影響力真的是讓Facebook取得如此成功的一個重要因素,這是我們在產品和研究中都在關注的東西。

| Q18:Facebook會開發和/或開源深度學習專業硬體嗎?

我們最近的硬體設計就是這樣做的,名為“BigSur”。

相關文章