注：本文首發於袋鼠雲公眾號
2016.1.20，阿里雲在雲棲大會上海站的主題是DT World，這是一場規模巨集大的大資料產品的釋出會。釋出的近20款產品， 幾乎都出自阿里巴巴一個存在已久的團隊：資料平臺事業部，從2015年初開始變成了阿里雲資料事業部。這個團隊存在有多久？可以說比阿里雲本身還要久。這個團隊最早和DBA在一起，負責人是淘寶的第一位DBA七公，後來DBA歸屬運維，資料平臺則在七公的帶領下迅猛發展，底層的平臺歷經多次升級，叢集規模也從最初的4個節點Oracle RAC到20個節點Oracle RAC，再從數百名到數千臺Hadoop，直到目前的數萬臺ODPS，並且在CDO時期整合了當時集團各個BU最強的一幫大資料人才，成為了承載集團大資料夢想的資料公司。這中間的故事，幾個團隊的糾纏不休，幾個專案的驚心動魄，估計講個幾天幾夜都毫無尿點。
還是略過歷史，回到數加吧。前面說到資料平臺事業部是承載集團夢想的資料公司，這個夢想是很遠大的，就像某年年會的口號說的，是星辰大海。下要做好大規模計算的分散式平臺，中要做好集團資料人的開發平臺，上要挖掘集團資料的商業價值，三路大軍浩浩蕩蕩，場面頗為壯觀。但細看之下，卻好比段譽同學通過北冥神功吸收了好幾股真氣，在沒有融為己用之前，真氣亂串導致偶爾是神功蓋世，偶爾是武功盡失。
直到2015年初，獨立山頭的資料平臺事業部，變成阿里雲旗下資料事業部，名字相差不多，但其實角色發生了很大的變化。阿里雲總裁孫權同學對新的資料事業部提出了內部創業的想法，希望將過去幾年主要為集團內提供服務的大資料平臺能夠正式全面的對外商用，並通過內部的創業工作室模擬外部客戶來打磨平臺。這是一個很大膽的想法，對於大部分都是技術人員的資料事業部來說，不啻於一場大革命。從15年4月份開始，數加業務團隊、數加技術團隊和內部幾個創新工作室相繼成立，並搬到了當時還沒有什麼人氣的雲棲小鎮辦公。我也是這個時候開始正式負責數加技術團隊，有幸和一群飽經磨難的資料同學一起感受了一段內部創業的過程。
從一開始，我就把數加定位成大資料業務平臺。在數加之前，集團內部實際上已經有兩個大資料的平臺，一個是面向集團內部的在雲端，另外一個是面向外部電商場景的御膳房。這兩個平臺的底層技術元件基本是一致的，2014年底的5K+專案也致力於讓兩者的底層完全統一，內部稱之為一個Base，多套部署例項。既然已經有一個對外的例項了，那麼數加做為業務平臺，是基於已有的御膳房例項來構建，還是單獨再部署一個例項呢？這是要做的第一個決定。從技術上來說，當然應該選擇基於已有例項來做，這樣可以輕裝上陣。但實際情況是御膳房針對電商場景做了比較多的業務邏輯封裝，有點類似於聚石塔在電商場景下對阿里雲的封裝。這種封裝在電商場景下是合理的設計，但要面向通用的雲端計算和大資料場景，就有很多不盡合理的限制，甚至在最底層的租戶模型上，當時也有一些設計衝突。
所以我們做的第一件事情是重新梳理租戶模型，在此基礎上部署了一套新的Base例項。現在回頭來看，這一年能夠快速的把數加平臺搭起來，能夠在這次DT World上順利釋出，最初的決定是對的，省去了很多的依賴和扯皮，並且從一開始就把租戶這個最核心的依賴做對了。但數加是顆尚未發芽的種子，面對已經有一顆樹開始抽枝散葉的情況下，這是非常不容易的，這中間至少給兩位CXO級別的老闆寫過郵件才得到最終的資源和授權。所以我一開始跟團隊強調，現在不要提什麼平臺，沒有足夠多的客戶也不要想什麼平臺，先踏踏實實的做好工具產品。
2015年4月還發生了另外一件事情，我開始跑步了。沒多久數加在產品方向上基本確定了要做新的計費模型、服務商模型和資料服務市場等主要的事情。老張和我討論團隊的口號的時候，我們達成了三點：成全他人、莫向外求、跑馬拉松。其中跑馬拉松是我提出的，一方面是讓團隊做好持久戰的心理準備，另外一方面我也給自己定下跑馬拉松的目標。到數加發布為止，我一共跑完了三個半馬一個全馬，想想當年在學校跑1500米都要死要活的，只要有目標，沒有什麼不可能。
簡單的八卦故事到這裡應該告一段落了。我在2015年11月從阿里雲離職，和幾個前同事一起創立了袋鼠雲。很多人問為什麼離職？數加當時雖然做得辛苦，需要從法務到財務到底層的Base/ODPS技術，到計費團隊，要做一點事情都需要從最上面的業務一直貫通到最下面的技術運維，但總體上目標是清晰的，前景是光明的，數加這個小團隊自身相處得也很融洽。但也正是在做數加的過程中，我看到了雲的趨勢、計算的趨勢和資料的趨勢，也堅信面向企業的雲服務和大資料有一波新的機會。我已經在阿里八年多，歷經淘寶DBA、手機淘寶資料產品和資料事業部數加團隊，收穫很多，也錯過了很多。如果再多待幾年，還是會有不錯的收入，頭頂著平臺的光環也可以吹吹牛B，但可能會失去從頭開始的勇氣。錯過這波機會，未來回頭來看的時候，我想我會後悔的。當然，創業維艱，失敗的概率很大，但至少我經歷過的選擇都從不後悔。
那麼，說了這麼多，到底數加是什麼鬼？當天釋出的底層計算引擎有類似Hadoop/EMR的ODPS（釋出會上宣佈改名為MaxCompute）、有類似Storm的StreamCompute、有做實時多維計算的Analytic DB、有機器學習的PAI。計算引擎之上，有資料開發者友好的Web IDE、有業務任務的排程系統、有後設資料管理等一整套操作介面。對於大部分做大資料開發的同學來說，底層的計算引擎大部分情況是不可見的，日常需要操作的主要就是這層介面，也就是http://data.aliyun.com這個網站。這兩層產品相互依賴，可以說是數加的平臺產品。基於這個平臺，不管是阿里內部，還是外部的資料開發者，都可以來做大資料的開發和應用。大會上釋出的其他產品，包括移動資料分析、DataV視覺化、規則引擎、推薦引擎、BI報表、應用託管、郡縣圖治等，雖然看起來名目繁多，實際上只是平臺之上進行補充和豐富的工具、服務以及典型的大資料應用案例。阿里雲的主要目標應該是做好下面兩層平臺，並將平臺的能力更多更快更好的開放出來，這兩層才是阿里雲大資料的核心競爭力，上層開放則可以形成豐富的生態，未來應該有更多的第三方基於數加平臺來開發和提供豐富的大資料服務和應用，這是我對這個事情的理解。
所以我們袋鼠雲目前正在開發的一款大資料應用型的產品，將來也希望能夠成為這個生態裡的一個小花朵，在我曾經為之付出汗水的平臺上順利的結出果實。後面如果在繁忙的創業過程中能夠抽出時間，也會更多的分享基於數加做大資料的技術文章。