圖靈訪談1025 | 美團攻城獅:用技術創造歷史,用走過的路寫一本書
邁克爾・傑克遜1995年發行的專輯 HIStory,前面的三個字母是大寫的,將 HIStory 分成兩部分來看是 HIS Story ——他的故事。完整的單詞就是歷史。
Everyday,create your history 每一天,你都在創造歷史
Every path you take you are leaving your legacy 你走過的每一條路,都是給世界留下的饋贈
科技的創新層出不窮,工程師們就是在這些前沿科技與我們日常的生活之間,架起一座橋樑。他們沒有經驗可以借鑑,只能披荊斬棘,開闢出一條屬於自己的路。每一步,都是在創造歷史。每一條開闢出的新路,都是給後來者的饋贈。
美團工程師 周翔 陳華清 戚亦平
周翔
2014年畢業加入美團,一直從事L2R方向工作,目前負責美團場景化搜尋排序。
陳華清
2015年4月入職美團,先後在美團酒店旅遊資料研發中心,美團無人配送部從事研發工作。現在負責美團無人車感知方向。
戚亦平
2013年6月加入美團,在美團點評先後參與和負責過搜尋、廣告和出行三個業務的演算法工作。
一行程式碼,萬千生活
使用者是核心價值,技術就是在精準地量化這種價值。
窗外,寒風瑟瑟,你窩在沙發裡,暖和舒服。不想出門,那就叫個外賣吧!
你開啟美團App,訂了一份飯,訂單顯示:騎手預計30分鐘送達。於是,無形的沙漏頃刻倒轉。
資料流動,系統開始計算:
騎手派單實時排程,根據運力做出配送決策——誰來送,怎麼送
將騎手導航到商家,取餐——計算出餐時間
GPS定位,根據交通和天氣情況的實時資料規劃路線——計算配送時間
小區內部精確定位,樓棟-單元-樓層——計算交付時間
最後,一份冬日的晚餐準時送達你的手中。
沒錯,這就是數百名演算法工程師智慧的結晶。三年來,美團技術團隊將配送時長從1小時縮短到30分鐘,智慧排程系統每小時路徑計算最高可達29億次。工程師們用複雜的技術為使用者提供簡單的生活。
程式碼也許離我們很遠,但生活離我們很近。
中午和朋友逛街累了,搜尋附近的餐廳;購物,根據評價對比一下各類商家;出門,搜尋當地的酒店,等等。
技術已經融進了生活的點點滴滴,我們每一個微小決策的背後都是無數算力與資料的支援,美團就像一個巨大的、複雜的齒輪在穩定地運轉著。
今天,讓我們走近這個齒輪,瞭解它精密的元件——美團的工程師們。
寫書:技術控的一種熱愛
我們腦海中對演算法工程師的印象,可能是一群戴著眼鏡、敲著程式碼、沉默寡言的技術控。寫書這件事,似乎和他們並不搭調。而且他們寫的這本書,作者竟然有22位之多。
2018年8月,美團演算法團隊的22位工程師,結合自己所負責的業務場景,撰寫了一本大型網際網路企業實踐類的演算法書——《美團機器學習實踐》。
今天我們採訪了其中的三位作者,聽聽他們講述這本書創作的故事。
美團演算法團隊的作品 《美團機器學習實踐》
怎麼想到寫本書呢?
陳華清:「2017年3月份,美團技術委員會演算法通道團隊開會,我提議出一本以企業作為背景的、實踐類的演算法書。
因為目前業界比較缺乏這方面的書籍,況且我們比較有分享精神,比如廣告、搜尋等技術團隊會撰寫很多文章。
既然平時的分享也寫得比較多,乾脆就係統化地出一本書。當時演算法通道委員會也比較支援這件事。
我們首先確定了方向是寫企業機器學習相關的內容,分享大家在應用方面所做的有價值的東西。後來,我根據公司幾個比較重要的業務大概劃分了:通用流程、資料探勘(後來增加的)、搜尋和推薦、計算廣告、深度學習和演算法工程六大模組。
每一個章節、每一個領域都是和相關團隊一起討論,比如搜尋和推薦是跟周翔他們團隊一起討論,計算廣告是和戚亦平一起確定了詳細的目錄。」
整體架構是怎麼確定的呢?
陳華清:「關於整體架構,我們內部也討論了好幾次。當時一些不成熟的、正在探索的內容都沒有寫,包括一些強化學習相關的和更前沿的工作,無人駕駛等;最後確定分享的內容,都是對美團來說比較有價值,對業界來說也比較通用的實踐總結,而且事實證明了線上效果比較好的東西。」
這本書的作者有22位,他們是如何篩選出來的?具體負責的內容是怎麼分配的?
陳華清:「我們當時不是隨便找的作者,都是由每個團隊負責人推薦的,標準就是優秀的一線的工程師,他們絕大部分是自己在除錯演算法、除錯模型、除錯效果,在每個業務線上起著核心和主導作用。
比如搜尋和推薦,就是周翔在負責除錯主要的演算法效果,戚亦平負責除錯廣告的演算法效果,這是兩個例子,其他工程師作者也是一樣的。
本書有22位作者,其中第一作者執筆,第二作者是給出指導的同事。比如說機器學習工程這個板塊,很多工作是大家一起完成的,所以寫作的時候也要諮詢其他同事。他們分享了自己的工作成果,在內容上做出了協同貢獻。」
創作歷程:工程師們不僅做事靠譜,寫書也很靠譜。
陳華清:「當時大概是4、5月份時開的啟動會,我們從圖靈專門要了一批跟演算法相關的圖書。然後把樣書發給每個人,讓大家參考這個格式。
說實話,這批工程師們不僅做事靠譜,寫書也很靠譜。大家的執行力都很強,8月份就收到了包括我自己在內的所有人的第一稿。
後來經過領導們的審閱,我們再次做了一些優化,甚至重新編寫了某些章節。為了讓內容更加充實,我們又加了資料探勘這一章。第一稿應該是國慶節前後發給圖靈公司,後續還進行了很多次調整。整本書大概的歷程就是這樣。」
寫書,對技術的一種熱愛。
聊過了書的結構和歷程,我們有點好奇:「寫這本書,似乎對你們的工作沒有特別實質性的幫助?」
陳華清笑:「說實話,我們寫這本書目的很單純,所有的工程師真的是不圖名不圖利。其實主要是出於一種對技術的熱愛吧,大家確實都是比較喜歡鑽研技術的一群人。」
周翔補充說道:「寫作是對知識的總結和梳理的過程,肯定對自身成長也有一定幫助。」
輕描淡寫的幾句話背後是默默的付出。因為工程師們平時都比較忙,週一到週五的工作節奏很快,大家都是利用節假日的時間來完成的。
一方面是工程師們的努力,另一方面公司也很支援這本書的出版,除了領導做了審閱之外,技術學院還多次幫助處理與出版社溝通的事宜,讓作者們安心寫作。
寫作過程中,他們也遇到了一些困難。
戚亦平:「因為第一次寫這種書,不知道應該寫到什麼程度,要不要寫很多的程式碼實踐?當時沒有這種概念,後來在寫作的過程中,我們逐步統一了標準。
另一個點是,我們要過濾內容。比如有一些工作是比較敏感的,有一些是跟業務沒那麼相關的。我們需要分享的是業界能去採納的一些經驗,這方面的提煉和歸納總結是一個難點。」
周翔:「當時沒有這本書所面向的讀者群體的概念,我們就儘量在業界通用的基礎上,把我們做了一些探索和嘗試的內容寫了上去。
因為讀者也會去看別的書嘛,如果內容都是一樣,可能這本書也沒有什麼特色了。所以這本書主要闡述了我們的探索與改進。」
讀者反饋想要更多幹貨以及程式碼。
陳華清笑:「這個程式碼的問題,可能當時我們有點矯枉過正了。這個不怪大家,因為當初我定的基調是少貼程式碼,不要動不動就好幾頁程式碼佔篇幅。
我們確實以一種很真誠的心態,希望多分享一些實際的經驗和心得,儘量只貼那些關鍵性的程式碼,數學公式也並不是很多。至於是不是乾貨則由讀者來評價。
為了儘量滿足讀者的需求,我們後續準備把一些程式碼、合適的示例、通用模型等放到GitHub上,也可以專門放一些配套的脫敏的資料供讀者們實踐。」
這本書的第二版,他們希望在此基礎上做一些改進。
陳華清:「第一版確實因為經驗不足嘛,導致了一些問題。第二版的話,我們有信心讓讀者更滿意。」
除此之外,第二版在內容上也會有更新。周翔:「從寫書到出版也有一年半的時間了,這期間,我們在技術層面也有很多的優化和探索,一些之前還不適合寫的內容,再出新版的話就可以加上了。」
這本書的內容和寫作過程,也體現了美團工程師團隊的氣質——熱愛鑽研,樂於分享。
美團工程師 陳華清 戚亦平 周翔
美團的工程師文化:分享與探索
截至2018年12月,美團擁有5萬多名員工,其研發人員超過9000人,佔全體員工的比例接近五分之一。
美團對技術的重視,一方面體現在工程師的高待遇上。
陳華清:「硬體上,我是來美團才用上MacBook,技術同學還配備了人體工學椅,挺貴的。而且美團整個培訓體系做得很精細,不同背景的工程師,只要肯花時間,都能夠在他的領域得到提升。」
不僅培訓體系劃分精確,還培養個人全面的能力。
陳華清介紹:「大的方向劃分就比如說演算法、後臺、系統、測試還有運維等。以演算法領域為例,我們劃分出來像視覺、搜尋推薦等各個方向,都有相應的培訓和分享。」
在工程師原有領域的基礎上,美團也傾向於培養他們全面的技術能力。
戚亦平介紹:「首先是演算法跟工程沒有割裂,演算法的同學其實分佈在各個業務線上。第二點可能各個團隊也不太一樣。
有些業務線上,演算法跟工程的同學相互獨立,相互配合;也有的團隊裡,可能一個同學做工程又做演算法。不同階段、不同團隊有不同的組織形式。」
不同型別的人才都有自己的發揮空間。
周翔:「有些同學確實能力比較強,比如他希望做一件事情,能從最初、最底層一直往上做,整個流程他都能自己解決問題。所以他也不會去分工程和演算法,可能那麼幾個人,就把整個鏈路的所有事情做完了。
有時候一條業務線上,演算法跟工程是相互促進,或者說互相彌補的。比如說演算法快速迭代起來,需要工程上做很好的支援;工程同學也需要演算法同學給出更多的反饋,因為有些實際的業務,需要預測這個業務迭代的未來趨勢。那麼工程同學可以很快地去設計這個架構。這是二者相輔相成、快速迭代的過程。」
美團對技術的重視,另一方面體現在工程師文化的建設上。
2013年,美團建立了技術學院,推出了自己的內部學習平臺,製作了很多技術課程,也鼓勵工程師們分享一些自己的內容。
周翔:「對外,作為技術型的公司,我們的技術團隊一直在分享文章;對內,每天會不止一次地分享帶有視訊的、很細緻的內容,全都放在美團內部的網站上面,想看隨時可以去看。」
工程師們除了參加培訓和技術會議以外,也積極參與公司組織的各種活動,比如MDD Cup演算法比賽。
戚亦平:「各團隊會把一些業務問題拿出來,讓全公司的同學來參與比賽。比如說之前有題目是對配送時間的預估,今年的是對團單銷量的預估。通過這個比賽,我們能發現整個美團技術團隊確實有非常多的人才。」
除了外部條件之外,工程師們的內在自我驅動力讓他們堅持學習,在技術領域不斷地探索。
談到學習與成長,戚亦平分享了自己的經驗:「首先要有一套相對完善的知識體系,比如數學或者其他技術領域,對技術學習,還有做其他事情都會起到事半功倍的效果。我自己平時也讀一些比較經典的教材。
第二點就是隨時關注業界新的進展,最後結合自身的業務特點,在解決問題的過程中不斷地提升。」
學了很多理論,寫自己的故事才是最難的,而思考的過程就是再創作。
周翔:「業界不斷地更新各種機器學習的內容,比如強化學習的技術和方法,我們平時會關注自己領域的最新進展,閱讀相關論文。其實這些理論性內容的學習很快,關鍵是怎麼將理論落地,這需要我們多去思考。
一方面,需要把演算法基礎學得紮實,這個主要就是看書或者視訊;另外一方面,就是要反覆對我們的業務進行理解,深入地理解、梳理。
然後,還得花比較多的時間,結合我們的業務場景思考將兩者結合的合理性,然後去設計整個工程、演算法的框架。中間的這個思考過程其實是比較重要的。」
科技的創新層出不窮,工程師們就是在這些前沿科技與我們日常的生活之間,架起一座橋樑。他們沒有經驗可以借鑑,就披荊斬棘,開闢出一條自己的路。每一步,都是在創造歷史。每一條開闢出的新路,都是給後來者的饋贈。
HIS Story:歷史,就是創作自己的故事
美團無人配送部於2016年組建,2017年年底,技術團隊研發了屬於自己的無人車和無人機。2018年7月,美團釋出了無人配送開放平臺。
已經吸引包括清華大學、加州伯克利大學、北京智慧車聯產業創新中心、華夏幸福、Segway等近20家國內國外的合作伙伴加入。
這些前沿的科技領域,沒有實踐經驗可以借鑑怎麼辦?
陳華清:「就是探索吧。其實不僅僅是無人配送,像戚亦平他們廣告化的新方法,也不知道別人是怎麼做的。但是,以我們美團工程師的水平,他們絕對不只是跟隨者,也能夠成為開拓者。」
即使是現有的技術,他們也結合自身的需求做了很多改進。
周翔:「我們跟百度的搜尋有點不一樣,我們做的是生活本地服務化搜尋,二者在場景上面有很多區別。因為我們的搜尋跟地理位置、當前實時的情況有很大關係,所以在這兩方面,我們在系統、演算法上面做了很多的突破。
比如對O2O來說,場景化是一個比較大的方向,但我們要考慮的是怎樣去拆分它;怎樣從幾個維度,比如從地理位置、時間角度、時空角度、環境角度去把我們的搜尋做好。」
他們對自己技術的方向有清晰的規劃。
戚亦平:「我們既然是為使用者創造價值,就必須從產品和業務的角度出發,去做技術能力的規劃。比如我們需要什麼樣的技術能力,才能達成我們的業務目標,以及產品的替代更新。基本的邏輯是這樣的。」
對於他們在做的事情,陳華清打了一個有趣的比方。特斯拉發明了交流電和無線電,安培發現了電流的相互作用規律,而千千萬萬的電氣工程師把電帶進人們的日常生活。
創新,是在理論的基礎上,用自己的方法去解決問題。
陳華清:「一是要與業界交流,瞭解領域最新的進展。第二是在應用上創新,這就要求對自己業務場景的瞭解和對資料的觀察,自己想一些好方法去解決問題。
其實未來的話,可能機器學習和人工智慧這些理論上的創新,各個公司甚至各國的差距不會很大,因為剛才也說到,大家會有技術上的交流。但是在應用上的創新和落地能力,就是我自己,可能也是我們公司做AI的同學發展的方向。」
end
每一門學科都是以不同的路徑向上探索,直到爬上塔尖,認識和理解世界。工程師們也是如此,他們從不同的技術領域出發,結合自己業務的特點,終會走出一條自己的路,將技術理論完美落地。
相關文章
- 從經歷談技術應用的創業思考創業
- 那些年成為node攻城獅的路(六)
- 純技術團隊創業,那些年我們一起走過的彎路創業
- 圖靈訪談系列之九:CNode社群談Node.js技術及生態圖靈Node.js
- 美團點評技術年貨:一本覆蓋各技術領域、1200+頁的電子書
- 情感分析技術在美團的探索與應用
- 圖靈技術圖書譯者須知圖靈
- 圖技術在美團外賣下的場景化應用及探索
- 我是如何寫出一本暢銷技術書的
- Git 實用操作:重寫 Commit 歷史GitMIT
- 一個一線前端攻城獅的快應用開發之路:1、初識快應用前端
- 場景應用創造價值——2018京東集團技術十件大事
- Android攻城獅前端遇坑指南Android前端
- Amadine Mac:用創新技術重塑繪圖藝術Mac繪圖
- 我們這些“攻城獅”的襯衣
- 美顏技術的創新之路——美顏SDK的原理與應用探究
- DataGirls社群創始人 Aislinn:做勇敢的少數派(圖靈訪談)AI圖靈
- 淺談Galgame演出(上):三位一體的行為藝術——用有限的技術創造無限的可能GAM
- 用Python和Pandas以及爬蟲技術統計歷史天氣Python爬蟲
- 走進資料的歷史
- 一個一線前端攻城獅的快應用開發之路:3、Audio的完全方案前端
- 碼農西遊 | 寫一本技術書可以賺多少錢
- 專訪美滿科技CEO:用技術和創新讓客戶服務更簡單
- 我最推薦的一本技術書
- 通義靈碼走進武漢大學:讓 AI 編碼助手啟用大學生的創造力AI
- 美國人均平均透支費創歷史新高
- 歷史的遺珠:圖靈測試與人工智慧圖靈人工智慧
- 阿里雲MVP:開發者的超能力,用技術創造更好世界阿里MVP
- 前端攻城獅HTML5自查手冊前端HTML
- 前端攻城獅必會資料抓包前端
- 【大前端攻城獅之路】面試集錦前端面試
- 用遊戲學歷史遊戲
- 南京用區塊鏈技術網上辦理近萬政務服務;美用區塊鏈防止偽造證書區塊鏈
- 【原創】淺談技術團隊專案考核體系的建立
- CSS精靈圖技術CSS
- 絕地反擊!ALIENWARE見證TES創造歷史
- 前端開發攻城獅——秋招經驗帖前端
- 網際網路創業公司的技術團隊構建創業