圖靈訪談1025 | 美團攻城獅:用技術創造歷史,用走過的路寫一本書
邁克爾・傑克遜1995年發行的專輯 HIStory,前面的三個字母是大寫的,將 HIStory 分成兩部分來看是 HIS Story ——他的故事。完整的單詞就是歷史。
Everyday,create your history 每一天,你都在創造歷史
Every path you take you are leaving your legacy 你走過的每一條路,都是給世界留下的饋贈
科技的創新層出不窮,工程師們就是在這些前沿科技與我們日常的生活之間,架起一座橋樑。他們沒有經驗可以借鑑,只能披荊斬棘,開闢出一條屬於自己的路。每一步,都是在創造歷史。每一條開闢出的新路,都是給後來者的饋贈。
美團工程師 周翔 陳華清 戚亦平
周翔
2014年畢業加入美團,一直從事L2R方向工作,目前負責美團場景化搜尋排序。
陳華清
2015年4月入職美團,先後在美團酒店旅遊資料研發中心,美團無人配送部從事研發工作。現在負責美團無人車感知方向。
戚亦平
2013年6月加入美團,在美團點評先後參與和負責過搜尋、廣告和出行三個業務的演算法工作。
一行程式碼,萬千生活
使用者是核心價值,技術就是在精準地量化這種價值。
窗外,寒風瑟瑟,你窩在沙發裡,暖和舒服。不想出門,那就叫個外賣吧!
你開啟美團App,訂了一份飯,訂單顯示:騎手預計30分鐘送達。於是,無形的沙漏頃刻倒轉。
資料流動,系統開始計算:
騎手派單實時排程,根據運力做出配送決策——誰來送,怎麼送
將騎手導航到商家,取餐——計算出餐時間
GPS定位,根據交通和天氣情況的實時資料規劃路線——計算配送時間
小區內部精確定位,樓棟-單元-樓層——計算交付時間
最後,一份冬日的晚餐準時送達你的手中。
沒錯,這就是數百名演算法工程師智慧的結晶。三年來,美團技術團隊將配送時長從1小時縮短到30分鐘,智慧排程系統每小時路徑計算最高可達29億次。工程師們用複雜的技術為使用者提供簡單的生活。
程式碼也許離我們很遠,但生活離我們很近。
中午和朋友逛街累了,搜尋附近的餐廳;購物,根據評價對比一下各類商家;出門,搜尋當地的酒店,等等。
技術已經融進了生活的點點滴滴,我們每一個微小決策的背後都是無數算力與資料的支援,美團就像一個巨大的、複雜的齒輪在穩定地運轉著。
今天,讓我們走近這個齒輪,瞭解它精密的元件——美團的工程師們。
寫書:技術控的一種熱愛
我們腦海中對演算法工程師的印象,可能是一群戴著眼鏡、敲著程式碼、沉默寡言的技術控。寫書這件事,似乎和他們並不搭調。而且他們寫的這本書,作者竟然有22位之多。
2018年8月,美團演算法團隊的22位工程師,結合自己所負責的業務場景,撰寫了一本大型網際網路企業實踐類的演算法書——《美團機器學習實踐》。
今天我們採訪了其中的三位作者,聽聽他們講述這本書創作的故事。
美團演算法團隊的作品 《美團機器學習實踐》
怎麼想到寫本書呢?
陳華清:「2017年3月份,美團技術委員會演算法通道團隊開會,我提議出一本以企業作為背景的、實踐類的演算法書。
因為目前業界比較缺乏這方面的書籍,況且我們比較有分享精神,比如廣告、搜尋等技術團隊會撰寫很多文章。
既然平時的分享也寫得比較多,乾脆就係統化地出一本書。當時演算法通道委員會也比較支援這件事。
我們首先確定了方向是寫企業機器學習相關的內容,分享大家在應用方面所做的有價值的東西。後來,我根據公司幾個比較重要的業務大概劃分了:通用流程、資料探勘(後來增加的)、搜尋和推薦、計算廣告、深度學習和演算法工程六大模組。
每一個章節、每一個領域都是和相關團隊一起討論,比如搜尋和推薦是跟周翔他們團隊一起討論,計算廣告是和戚亦平一起確定了詳細的目錄。」
整體架構是怎麼確定的呢?
陳華清:「關於整體架構,我們內部也討論了好幾次。當時一些不成熟的、正在探索的內容都沒有寫,包括一些強化學習相關的和更前沿的工作,無人駕駛等;最後確定分享的內容,都是對美團來說比較有價值,對業界來說也比較通用的實踐總結,而且事實證明了線上效果比較好的東西。」
這本書的作者有22位,他們是如何篩選出來的?具體負責的內容是怎麼分配的?
陳華清:「我們當時不是隨便找的作者,都是由每個團隊負責人推薦的,標準就是優秀的一線的工程師,他們絕大部分是自己在除錯演算法、除錯模型、除錯效果,在每個業務線上起著核心和主導作用。
比如搜尋和推薦,就是周翔在負責除錯主要的演算法效果,戚亦平負責除錯廣告的演算法效果,這是兩個例子,其他工程師作者也是一樣的。
本書有22位作者,其中第一作者執筆,第二作者是給出指導的同事。比如說機器學習工程這個板塊,很多工作是大家一起完成的,所以寫作的時候也要諮詢其他同事。他們分享了自己的工作成果,在內容上做出了協同貢獻。」
創作歷程:工程師們不僅做事靠譜,寫書也很靠譜。
陳華清:「當時大概是4、5月份時開的啟動會,我們從圖靈專門要了一批跟演算法相關的圖書。然後把樣書發給每個人,讓大家參考這個格式。
說實話,這批工程師們不僅做事靠譜,寫書也很靠譜。大家的執行力都很強,8月份就收到了包括我自己在內的所有人的第一稿。
後來經過領導們的審閱,我們再次做了一些優化,甚至重新編寫了某些章節。為了讓內容更加充實,我們又加了資料探勘這一章。第一稿應該是國慶節前後發給圖靈公司,後續還進行了很多次調整。整本書大概的歷程就是這樣。」
寫書,對技術的一種熱愛。
聊過了書的結構和歷程,我們有點好奇:「寫這本書,似乎對你們的工作沒有特別實質性的幫助?」
陳華清笑:「說實話,我們寫這本書目的很單純,所有的工程師真的是不圖名不圖利。其實主要是出於一種對技術的熱愛吧,大家確實都是比較喜歡鑽研技術的一群人。」
周翔補充說道:「寫作是對知識的總結和梳理的過程,肯定對自身成長也有一定幫助。」
輕描淡寫的幾句話背後是默默的付出。因為工程師們平時都比較忙,週一到週五的工作節奏很快,大家都是利用節假日的時間來完成的。
一方面是工程師們的努力,另一方面公司也很支援這本書的出版,除了領導做了審閱之外,技術學院還多次幫助處理與出版社溝通的事宜,讓作者們安心寫作。
寫作過程中,他們也遇到了一些困難。
戚亦平:「因為第一次寫這種書,不知道應該寫到什麼程度,要不要寫很多的程式碼實踐?當時沒有這種概念,後來在寫作的過程中,我們逐步統一了標準。
另一個點是,我們要過濾內容。比如有一些工作是比較敏感的,有一些是跟業務沒那麼相關的。我們需要分享的是業界能去採納的一些經驗,這方面的提煉和歸納總結是一個難點。」
周翔:「當時沒有這本書所面向的讀者群體的概念,我們就儘量在業界通用的基礎上,把我們做了一些探索和嘗試的內容寫了上去。
因為讀者也會去看別的書嘛,如果內容都是一樣,可能這本書也沒有什麼特色了。所以這本書主要闡述了我們的探索與改進。」
讀者反饋想要更多幹貨以及程式碼。
陳華清笑:「這個程式碼的問題,可能當時我們有點矯枉過正了。這個不怪大家,因為當初我定的基調是少貼程式碼,不要動不動就好幾頁程式碼佔篇幅。
我們確實以一種很真誠的心態,希望多分享一些實際的經驗和心得,儘量只貼那些關鍵性的程式碼,數學公式也並不是很多。至於是不是乾貨則由讀者來評價。
為了儘量滿足讀者的需求,我們後續準備把一些程式碼、合適的示例、通用模型等放到GitHub上,也可以專門放一些配套的脫敏的資料供讀者們實踐。」
這本書的第二版,他們希望在此基礎上做一些改進。
陳華清:「第一版確實因為經驗不足嘛,導致了一些問題。第二版的話,我們有信心讓讀者更滿意。」
除此之外,第二版在內容上也會有更新。周翔:「從寫書到出版也有一年半的時間了,這期間,我們在技術層面也有很多的優化和探索,一些之前還不適合寫的內容,再出新版的話就可以加上了。」
這本書的內容和寫作過程,也體現了美團工程師團隊的氣質——熱愛鑽研,樂於分享。
美團工程師 陳華清 戚亦平 周翔
美團的工程師文化:分享與探索
截至2018年12月,美團擁有5萬多名員工,其研發人員超過9000人,佔全體員工的比例接近五分之一。
美團對技術的重視,一方面體現在工程師的高待遇上。
陳華清:「硬體上,我是來美團才用上MacBook,技術同學還配備了人體工學椅,挺貴的。而且美團整個培訓體系做得很精細,不同背景的工程師,只要肯花時間,都能夠在他的領域得到提升。」
不僅培訓體系劃分精確,還培養個人全面的能力。
陳華清介紹:「大的方向劃分就比如說演算法、後臺、系統、測試還有運維等。以演算法領域為例,我們劃分出來像視覺、搜尋推薦等各個方向,都有相應的培訓和分享。」
在工程師原有領域的基礎上,美團也傾向於培養他們全面的技術能力。
戚亦平介紹:「首先是演算法跟工程沒有割裂,演算法的同學其實分佈在各個業務線上。第二點可能各個團隊也不太一樣。
有些業務線上,演算法跟工程的同學相互獨立,相互配合;也有的團隊裡,可能一個同學做工程又做演算法。不同階段、不同團隊有不同的組織形式。」
不同型別的人才都有自己的發揮空間。
周翔:「有些同學確實能力比較強,比如他希望做一件事情,能從最初、最底層一直往上做,整個流程他都能自己解決問題。所以他也不會去分工程和演算法,可能那麼幾個人,就把整個鏈路的所有事情做完了。
有時候一條業務線上,演算法跟工程是相互促進,或者說互相彌補的。比如說演算法快速迭代起來,需要工程上做很好的支援;工程同學也需要演算法同學給出更多的反饋,因為有些實際的業務,需要預測這個業務迭代的未來趨勢。那麼工程同學可以很快地去設計這個架構。這是二者相輔相成、快速迭代的過程。」
美團對技術的重視,另一方面體現在工程師文化的建設上。
2013年,美團建立了技術學院,推出了自己的內部學習平臺,製作了很多技術課程,也鼓勵工程師們分享一些自己的內容。
周翔:「對外,作為技術型的公司,我們的技術團隊一直在分享文章;對內,每天會不止一次地分享帶有視訊的、很細緻的內容,全都放在美團內部的網站上面,想看隨時可以去看。」
工程師們除了參加培訓和技術會議以外,也積極參與公司組織的各種活動,比如MDD Cup演算法比賽。
戚亦平:「各團隊會把一些業務問題拿出來,讓全公司的同學來參與比賽。比如說之前有題目是對配送時間的預估,今年的是對團單銷量的預估。通過這個比賽,我們能發現整個美團技術團隊確實有非常多的人才。」
除了外部條件之外,工程師們的內在自我驅動力讓他們堅持學習,在技術領域不斷地探索。
談到學習與成長,戚亦平分享了自己的經驗:「首先要有一套相對完善的知識體系,比如數學或者其他技術領域,對技術學習,還有做其他事情都會起到事半功倍的效果。我自己平時也讀一些比較經典的教材。
第二點就是隨時關注業界新的進展,最後結合自身的業務特點,在解決問題的過程中不斷地提升。」
學了很多理論,寫自己的故事才是最難的,而思考的過程就是再創作。
周翔:「業界不斷地更新各種機器學習的內容,比如強化學習的技術和方法,我們平時會關注自己領域的最新進展,閱讀相關論文。其實這些理論性內容的學習很快,關鍵是怎麼將理論落地,這需要我們多去思考。
一方面,需要把演算法基礎學得紮實,這個主要就是看書或者視訊;另外一方面,就是要反覆對我們的業務進行理解,深入地理解、梳理。
然後,還得花比較多的時間,結合我們的業務場景思考將兩者結合的合理性,然後去設計整個工程、演算法的框架。中間的這個思考過程其實是比較重要的。」
科技的創新層出不窮,工程師們就是在這些前沿科技與我們日常的生活之間,架起一座橋樑。他們沒有經驗可以借鑑,就披荊斬棘,開闢出一條自己的路。每一步,都是在創造歷史。每一條開闢出的新路,都是給後來者的饋贈。
HIS Story:歷史,就是創作自己的故事
美團無人配送部於2016年組建,2017年年底,技術團隊研發了屬於自己的無人車和無人機。2018年7月,美團釋出了無人配送開放平臺。
已經吸引包括清華大學、加州伯克利大學、北京智慧車聯產業創新中心、華夏幸福、Segway等近20家國內國外的合作伙伴加入。
這些前沿的科技領域,沒有實踐經驗可以借鑑怎麼辦?
陳華清:「就是探索吧。其實不僅僅是無人配送,像戚亦平他們廣告化的新方法,也不知道別人是怎麼做的。但是,以我們美團工程師的水平,他們絕對不只是跟隨者,也能夠成為開拓者。」
即使是現有的技術,他們也結合自身的需求做了很多改進。
周翔:「我們跟百度的搜尋有點不一樣,我們做的是生活本地服務化搜尋,二者在場景上面有很多區別。因為我們的搜尋跟地理位置、當前實時的情況有很大關係,所以在這兩方面,我們在系統、演算法上面做了很多的突破。
比如對O2O來說,場景化是一個比較大的方向,但我們要考慮的是怎樣去拆分它;怎樣從幾個維度,比如從地理位置、時間角度、時空角度、環境角度去把我們的搜尋做好。」
他們對自己技術的方向有清晰的規劃。
戚亦平:「我們既然是為使用者創造價值,就必須從產品和業務的角度出發,去做技術能力的規劃。比如我們需要什麼樣的技術能力,才能達成我們的業務目標,以及產品的替代更新。基本的邏輯是這樣的。」
對於他們在做的事情,陳華清打了一個有趣的比方。特斯拉發明了交流電和無線電,安培發現了電流的相互作用規律,而千千萬萬的電氣工程師把電帶進人們的日常生活。
創新,是在理論的基礎上,用自己的方法去解決問題。
陳華清:「一是要與業界交流,瞭解領域最新的進展。第二是在應用上創新,這就要求對自己業務場景的瞭解和對資料的觀察,自己想一些好方法去解決問題。
其實未來的話,可能機器學習和人工智慧這些理論上的創新,各個公司甚至各國的差距不會很大,因為剛才也說到,大家會有技術上的交流。但是在應用上的創新和落地能力,就是我自己,可能也是我們公司做AI的同學發展的方向。」
end
每一門學科都是以不同的路徑向上探索,直到爬上塔尖,認識和理解世界。工程師們也是如此,他們從不同的技術領域出發,結合自己業務的特點,終會走出一條自己的路,將技術理論完美落地。
相關文章
- 從圖靈原創談起,帶你走進國產技術書的時代圖靈
- 郝培強(@Tinyfool):創造的樂趣(圖靈訪談)圖靈
- 從經歷談技術應用的創業思考創業
- APICloud CTO鄒達:用Web技術加速原生應用開發(圖靈訪談)APICloudWeb圖靈
- 《我心愛的雷龍:一本寫給大人的恐龍書》作者Brian Switek訪談問題有獎徵集(圖靈訪談)圖靈
- 58到家技術總監沈劍:有選擇地借鑑才能不走彎路(圖靈訪談)圖靈
- O'Reilly副總裁Mike Hendrickson:技術圖書出版的未來(圖靈訪談)圖靈
- 我讀過的第一本圖靈書圖靈
- 【視訊】李鬆峰:技術書翻譯那些事兒(圖靈訪談)圖靈
- 《我的第一本程式設計書》作者平山尚,訪談問題有獎徵集(圖靈訪談)程式設計圖靈
- [英]專訪《寫給大家看的設計書》作者Robin Williams(圖靈訪談)圖靈
- [視訊]Martin Fowler:我希望可以創造永恆的價值(圖靈訪談)圖靈
- 圖靈訪談圖靈
- 阿朱:從50到5000,從技術到人(圖靈訪談)圖靈
- CNode社群:Node.js技術及生態(圖靈訪談)Node.js圖靈
- 有獎 |《人工智慧簡史》作者尼克訪談話題徵集(圖靈訪談)人工智慧圖靈
- 《JavaScript Web應用開發》作者Nicolas Bevacqua訪談問題徵集(圖靈訪談)JavaScriptWeb圖靈
- Marin:線上網路廣告技術歷史
- 圖靈八月書訊 ——技術圖書嘉年華圖靈
- 【視訊訪談】專訪1藥網 技術副總裁黃哲鏗:揭祕技術跨界管理之道(圖靈訪談)圖靈
- 圖靈技術圖書譯者須知圖靈
- 《用資料講故事》作者Cole Knaflic訪談話題有獎徵集(圖靈訪談)圖靈
- 圖靈訪談系列之九:CNode社群談Node.js技術及生態圖靈Node.js
- 我是如何寫出一本暢銷技術書的
- Kfir Matza:以色列的動作識別技術世界領先(圖靈訪談)圖靈
- 王棟:要做好推薦,只有技術是不夠的(圖靈訪談)圖靈
- 訪談嘉賓推薦(圖靈訪談)圖靈
- [視訊]《我的第一本程式設計書》作者平山尚:“非科班”的逆襲(圖靈訪談)程式設計圖靈
- 萬濤:我用公益實現黑客信條(圖靈訪談)黑客圖靈
- SwitchPay:企業移動技術的歷史–資訊圖
- 專訪小書作者劉傳君:練太極的“讀書機器”(圖靈訪談)圖靈
- 如何獲得“圖靈訪談”贈送的紙質書和電子書圖靈
- 技術決定歷史
- 柳澤大輔:如何想出好創意(圖靈訪談)圖靈
- 吳朱華:雲端計算與創業(圖靈訪談)創業圖靈
- Git 實用操作:重寫 Commit 歷史GitMIT
- 紀念阿蘭·圖靈誕辰,評選“精彩·好訪談”(圖靈訪談)圖靈
- 美團(配送演算法策略架構師)郝井華訪談話題有獎徵集(圖靈訪談)演算法架構圖靈