探祕谷歌AI實驗室,TensorFlow在這裡誕生

PSI內容合夥人發表於2015-11-10
今天凌晨,谷歌宣佈開源機器學習平臺TensorFlow,引發媒體和從業者的普遍關注,而在谷歌內部,基於TensorFlow的產品以展現出這家公司佈局人工智慧雄心壯志……
TensorFlow:谷歌人工智慧的2.0
2007年12月,谷歌推出移動作業系統Android,此時距iPhone第一代發售僅僅過了6個月。與當時市面上的移動作業系統不同的是,Android是一款開源的作業系統,所有手機廠商、開發者都可以在開源協議基礎上進行自定製開發。8年之後,搭載Android的智慧手機已經佔據了智慧手機市場的八成份額。就在今天凌晨,谷歌再次釋出一款開源產品TensorFlow,這次瞄準的是人工智慧。 http://v.qq.com/page/m/6/a/m0172bygi6a.html

谷歌官方介紹TensorFlow視訊

谷歌今天宣佈,將內部一直使用的機器學習系統TensorFlow開源,將此係統的引數公佈給業界工程師、學者和擁有大量程式設計能力的技術人員。開源的TensorFlow可以讓深度學習從業者甚至大學生們都可以與世界上最領先的人工智慧技術平臺一起工作。谷歌此舉或將奠定自己在人工智慧領域的權威地位。 TensorFlow是谷歌的第二代人工智慧系統,該系統將機器學習演算法變成了符號表達的各類圖表,從而有效縮短了重新寫程式碼的時間。TensorFlow的命名起源於該系統的運作原理,即複雜的資料結構(Tensor)將會被傳輸至人工智慧神經網中進行分析和處理,這一過程是機器深度學習的核心部分。 長期以來,谷歌一直非常積極地對機器學習進行研發。谷歌在2011年推出了第一代機器學習系統「DistBelief」,就是這個大名鼎鼎的系統自動從大量Youtube圖片中識別出了「貓」;並讓谷歌的語音識別準確度提升了25%;在Google Photos中實現了圖片搜尋。如今的TensorFlow系統是在第一代產品的基礎上發展起來的,並對早期系統的不足進行了改進。谷歌在官方部落格上表示,比起舊系統,TensorFlow更快、更靈活以及更聰明,在建立和訓練機器學習模型方面比第一代人工智慧系統快五倍。谷歌CEO Sundar Pichai在部落格中寫到,TensorFlow更快的速度使我們能夠更快的提升產品表現。 TensorFlow與舊系統的區別在於,TensorFlow沒有被束縛在谷歌自身的IT架構內,能夠被任何有相關背景的人基於合適的IT資源進行配置。 http://v.qq.com/page/b/g/4/b0172gvk8g4.html

Jeff Dean演講視訊

外界對TensorFlow的評價
對於TensorFlow,第一個問題就是為何要開源。谷歌官方的解釋是,將技術免費開放是希望可以加速人工智慧領域的發展。所有人都可以幫助Google改進其技術,並將成果反饋回來。正如Google深度學習專案的主要推動者Jeff Dean所說:「我們希望的是,整個研究、開發者社群將TensorFlow作為一種很好的手段來實現各種各樣的機器學習演算法,同時也為其在各種場景下的應用帶來改進。」如果此次開源能夠使更多的資料科學家開始使用谷歌的系統來從事機器學習方面的研究,那麼這將有利於谷歌對日益發展的機器學習行業擁有更多的主導權。 Jeff Dean的觀點也得到了創業公司的積極響應,深度學習創業公司Skymind的CEO克里斯·尼古森說:「這是很有趣的一件事,谷歌(在這一領域)領先整個世界五到七年。如果他們將軟體開源,那將改進每一項機器學習研究。」 當然,谷歌也並非完全毫無保留。目前開源的是其引擎中較為頂層的演算法,也沒有開源其硬體基礎設施系統。而且,谷歌也不是第一個將深度學習系統開源的科技巨頭。 Yann LeCun在Facebook上轉了一篇紐約時報Bits報導TensorFlow的文章,並評論說:「如果放在幾年前,誰會想到一篇關於深度學習開源庫的文章會發布在紐約時報科技頻道(Bits)上?」補充一下 (以便大家不要誤解我的含義): 我認為TensorFlow 非常酷,我對谷歌的朋友們將其開源表深表贊同。 其實,Yann LeCun是在非常狡猾的提醒使用者,Facebook早在今年一月份就公佈了一個機器學習的開源專案,他們將一些基於機器神經網路的產品免費放在了Torch(一個關注深度學習的開源軟體專案)上,可以用來處理資料,分析資訊的共同特徵。Facebook人工智慧實驗室的研發工程師Soumith Chintala對此表示,將人工智慧和神經網路公開是十分有用的,他也是Torch專案的創始人之一。他說,除了大公司之外,Torch也會用於創業公司和大學實驗室。 除了Torch之外,深度學習方面的開源軟體框架還包括Theano和Caffe。史丹佛大學的電腦科學家Christopher Manning在試用過TensorFlow之後表示令其印象深刻,「它在深度學習工具中表現的更好更快。」他認為TensorFlow將廣泛用於公司的研究人員和高校的學生中間。對此,史丹佛大學計算機教授Christopher Manning深有感觸,過去三個月裡,他的學生們已經和TensorFlow並肩作戰,而在試用幾周後,Manning決定將其納入到自己的課程裡。 艾倫人工智慧研究所執行董事Oren Etzioni對谷歌的這一行為評價道,這是谷歌整個平臺戰略的一部分,來吸引開發者 機器學習人才。但比起提供雲服務的IBM、微軟和亞馬遜,谷歌確實在做一些更加開放的工作。MIT斯隆管理學院的教授Michael A. Cusumano則認為,即便TensorFlow是開源,但如果它能獲得成功,將毫無疑問成為谷歌的賺錢機器。 對於TensorFlow將來發展遇到的問題,計算機視覺開源專案主席、電腦科學家 Gary Bradski說,決定這個平臺成功與否的關鍵在於,谷歌如何處理程式碼升級的控制權問題,是這個開放社群有發言權,還是由谷歌控制批准官方版本。
TensorFlow的源頭:神祕的谷歌人工智慧實驗室
不管第一代的DistBelief,還是剛釋出的TensorFlow,都是來源於谷歌人工智慧實驗室。從某種意義上說,谷歌正在從一家搜尋公司轉變為一家機器學習公司。而在這家公司內部神祕的人工智慧實驗室裡,我們也看到谷歌統治人工智慧的野心。 接近谷歌內部的認識透露,谷歌內部並不喜歡「Artificial intelligence」這個詞,他們認為有太多貶義的成分,他們更熱衷於創造一種智慧,也就是機器智慧。 很多使用谷歌服務的人已經能感覺到這種機器智慧,比如Android手機上的Google Now,就是一個貼心的虛擬助理產品;比如谷歌相簿,能夠自動識別、自動分類;比如使用了TensorFlow谷歌郵箱的自動回覆,能夠基於收到郵件的關鍵詞自動回覆……這與谷歌CEO Sundar Pichai上月財報電話會議中的表態一致:
機器學習是一種核心的轉變方式,通過機器學習,我們再重新思考我們所從事的一切。我們目前正處於初期階段,但使用者將看到谷歌以系統的方式來思考我們將如何把機器學習應用到所有的這些領域。
那麼,到底谷歌內部誰在負責人工智慧研發?這個問題幾乎無法回答,谷歌工程副總裁 John Giannandrea認為,谷歌採用的是「嵌入式模式」,換句話說,每個團隊都在人員研究人工智慧。 過去幾年,谷歌一直專注人工智慧研發,從某種意義上說,TensorFlow就是這幾年努力的結晶。TensorFlow的負責人之一Jeff Dean對於TensorFlow的在更大範圍內的普及持審慎態度。他表示,谷歌只是負責提供了一個工具,還需要開發者能夠快速開發、部署相關產品。 Dean說:「我們的出發點是加速機器學習的研究和部署。」 10月初,Jeff Dean在BayLearn15的演講中首次公佈了Google TensorFlow,並表現越來越來越多的谷歌開始使用這個系統。 2015-11-10-3 儘管谷歌公司一向以開放文化著稱,但當記者進入谷歌人工智慧實驗室時,還是感到了某種保密的空氣。一位谷歌工程師看到記者並沒有攜帶員工工牌,走過來詢問記者的身份。 谷歌所謂的「嵌入式模式」的人工智慧研究對記者而言,就是需要奔波於各個辦公樓之間。谷歌的員工們一般騎自行車穿梭於不同辦公區,不同的辦公區有不同的產品團隊,嵌入式的人工智慧團隊也和記者一樣,不斷切換自己的工作地區和工作內容。 2015-11-10-2 從公司架構上,谷歌的確有一個團隊在解決機器智慧的通用型問題,並將其工作反饋給不同的產品組,比如相簿、語音搜尋和搜尋等等。這個團隊還會挖掘一些還沒有產品原型的問題,Giannandrea列舉了谷歌對於手寫設別的關注:「我們特別想理解人類手寫的方式,會不斷在這個領域加大投入,即便目前還沒有產品出來。」事實上,手寫識別已經部分應用到谷歌筆記類應用Keep上面了,或許下一步就可以自動識別了。 2015-11-10-1 這個通用型的團隊被分成不同的小組,有的專注於如何教會計算機識別,有的則研究計算機理解語言的方法,也有的在探索提升語音識別的方式。Giannandrea告訴記者:「沒有哪家公司比谷歌更熱衷於語音識別、翻譯和語言理解,谷歌會持續投入到這些領域。」 目前約有1000人的團隊在進行人工智慧相關領域研究,既包括基礎理論研究者也包括實施團隊成員。谷歌在完成重組之後,其母公司Alphabet並不會干涉谷歌的人工智慧研究,而且也不影響與Alphabet其它子公司,包括生命科學集團、谷歌X實驗室的協作。 谷歌近幾年來不斷優化語音搜尋,無論是Android裝置、iOS的App還是桌面瀏覽器Chrome上,搜尋欄上的語音搜尋標記都格外醒目。很多人都將語音搜尋作為對抗蘋果Siri的武器,但在谷歌眼裡,語音搜尋成為谷歌海量資料的第二大來源,而在語音識別團隊的努力下,這個產品也越來越受歡迎。 儘管沒有確切數字,但移動端的搜尋已經比桌面搜尋請求更多,移動語音搜尋也在去年有了大幅增長。僅以美國地區來說,約有50%的美國移動終端使用者知道可以使用谷歌語音搜尋,約有三分之一的使用者的確在使用了。 2015-11-10 Françoise Beaufays是語音團隊的幕後功臣之一,他表示能有如此之高的普及是因為產品的確越來越好。「當我們剛開始做語音識別時,使用者對我們沒有多大信心。我們能感覺到,儘管使用者也使用我們的產品,但毫無疑問我們的產品還不夠好。而如今,越來越多的人可以自然地在自己辦公室使用我們的產品。」 在Françoise Beaufays的帶領下,谷歌語音團隊採用新的神經網路代替之前傳統的語音識別體系。Beaufays介紹道,要讓機器懂得語音,需要讓機器首先學會單詞和短語是如何表述的,這意味著要大量語音資料。然後再將這些資料通過演算法,形成一個語音圖譜,這個圖譜裡包括各個單詞、短語是怎麼表達的,換句話說,要有各種口音的語音資料才能讓這個圖譜更準確。 谷歌將大量使用者語音搜尋的資料作為訓練機器的「教材」,當使用者用語音搜尋一句話後,這段語音會上傳到谷歌伺服器,而訓練的第一步則是抹去一些重要資訊,比如時間點、地理位置資訊、使用者個人資料等等,只剩下最原始的語音,有時為了讓機器更聰明,研究者們還會通過軟體模擬更多人的語調讓機器識別。 這種演算法極大地提升了谷歌語音搜尋的準確性,兩年前,語音搜尋的錯誤率高達25%,如今錯誤率只有8%。 當谷歌相簿問世時,很多人稱讚這款產品的智慧程度,但也有不少人擔憂其對個人隱私的擔憂。谷歌工程師Drago Anguelov表示:沒有人會看到使用者的圖片,機器也不會看到。「我們在公開資料中訓練機器,這些資料任何人都可以拿來使用。但這些資料太標準,和人們拍出的真正照片差別巨大。」 谷歌對影像的訓練體現在一個名叫Deep Dream的產品中,它採用了包括10—30層人工神經元,每一層會識別不同抽象程度的影像,通過提取上一層影像的特徵進行進一步處理,圖片被層層解讀,最後得到重塑的新圖片,比如讓機器識別一顆樹: [caption id="attachment_6586" align="aligncenter" width="550"]原圖 原圖[/caption] 而機器所看到的卻是這樣子的: [caption id="attachment_6585" align="aligncenter" width="550"]機器識別出來的圖片 機器識別出來的圖片[/caption] 這些看似沒有價值的圖片實際上也是機器學習圖片後的反饋,利用這種反饋再進行訓練,會讓機器變得更聰明。 這也是Smart Reply的研發模式。 上週谷歌釋出了郵箱工具Inbox的智慧回覆功能Smart Reply,同樣基於TensorFlow。Gmail產品總監Alex Gawley說「我們看到了我們團隊在神經網路建設方面的巨大能量,這將可以幫助我們更好地理解和組織(語言),比如回覆郵件」。 2015-11-05 Inbox團隊首先在內部上線了該功能,不斷通過海量資料「餵養」機器,當機器回覆時,告訴機器哪些是正確的,哪些是錯誤的。這也是機器學習的一般方式。在整個團隊的訓練、反饋、再訓練再反饋之後,整個產品才上線。 這種內部的測試能夠讓研究者瞭解當海量資料進入神經網路之後可能出現bug,比如,一開始,Smart Reply會回覆很多「I love you」,但由於只侷限在私人郵件資料裡,「I love you」是一個常用的短語,因此機器誤以為這是一個很重要的詞彙。通過大規模的資料訓練,機器能夠進一步理解不同性質郵件中的重要詞彙。 而谷歌機器智慧的集大成者毫無疑問是Google Now,「讓正確的資訊出現在正確的場合」是Google Now團隊的目標和方向。作為Google Now的老大,Aparna Chennapragada表示:這款產品就是讓人類的生活變得更加簡單,五年前,Aparna Chennapragada希望通過語音識別來實現,但隨後發現,這並非一種好的方式。 Google Now要做的就是利用三種不同的資料建構一個數字助理,谷歌將手機看作注意力工具,而一個合適的助理型服務不應該讓使用者感到資訊超載。 2015-11-10-1 Aparna Chennapragada表示:如果你去檢視人們使用智慧手機的方式,你會發現使用者往往是在一些碎片化時間使用,你真正要找的資訊真的很少。我們要思考如何代表你去挖掘到這些有用的資訊。這就是谷歌對於搭載機器智慧的手機的終極定位:一個真正的個人數字助理,擁有超強的預測能力和海量的知識,可以成為你大腦的數字化延伸。 Google Now得益於谷歌之前在知識圖譜技術方面的積累。如果你在谷歌搜尋框裡搜尋「中國的首都是哪裡?」,你會直接得到北京這個答案,而不是一堆包含北京的連結。2012年推出的知識圖譜也是谷歌人工智慧第一次佈局到主要產品中,如今,每天大約有15%的搜尋請求會由這些技術應對。前不久,谷歌透露了基於人工智慧模式的搜尋技術RankBrain。 當然,谷歌人工智慧實驗室還有另一個重磅武器——Geoffrey Hinton,他可謂是將深度學習帶入谷歌的第一人。Hiton也許是全世界研究神經網路系統最早的專家,在1980年代中期,他就是人工智慧技術的先驅(他提到在16歲時就開始思考神經網路)。 2015-11-10-3 早在 80 年代初期,當Hinton和他的同事們剛開始相關研究時,那時的電腦還不夠快,不足以處理有關神經網路的這些龐大的資料,他們取得的成就是有限的。而當時AI普遍的研究方向也與他們相反,都在試圖尋找捷徑,直接模擬出行為,而不是試圖通過模仿大腦的運作來實現。大約十年前,在多倫多大學Hinton的實驗室,他和其他研究者取得了一項突破性進展,突然使神經網路成為人工智慧領域最熱門的話題,這些研究者精通建立多層模擬神經元結構以使整個系統能夠被訓練,或者進行自我訓練,然後來預測隨機輸入值的相干性。 2007年,Hinton在山景城進行了關於深度學習的谷歌技術演講,極客們踴躍出席,這一演講在YouTube上也大受歡迎。後來,Hinton的學生去了IBM、微軟,當然還有谷歌。所有人都能自由使用Hinton實驗室的成果用以完善各自系統。Hinton表示,「有趣的是,微軟研究院和IBM先於谷歌得到這項(深度學習)技術,但是在將技術轉變成產品方面谷歌卻比任何人都迅速。」 這對谷歌搜尋意義重大,利用深度學習理解真實世界,在為使用者提供準確答案和資訊方面向前邁出一大步。不管從內部的產品邏輯,還是剛剛開源的TensorFlow,谷歌的人工智慧一直秉承著「整合全球資訊,使人人皆可訪問並從中受益」的使命,接下來,谷歌在人工智慧方面還會有哪些驚喜帶給我們,不妨拭目以待。 機器之心原創出品。

相關文章