大資料老兵的“回憶殺”:我做開發者這十年
2018廣東雲棲大會上,阿里雲總裁胡曉明強調了阿里雲的開發者策略:共同成長、共同分享、共同參與、共同定義,與數百萬開發者共同定義雲端計算的未來。MVP計劃就是開發者與阿里雲共同成長的印證。
戚俊是多年大資料應用老兵,現任路特科技 CTO,也是阿里雲MVP,本文站在十年的歷史維度上回憶了一代開發者的發展歷程。
戚俊:我做開發者這十年
不知不覺從業小10年了,想想上學那會,剛接觸網際網路的時候,玩的都是域名、虛擬主機、CMS這些,現在的大學生玩的都是大資料、機器學習這些了,真的有種舊貌換新顏的感覺。
10年前,一邊學著程式設計,一邊嘗試自己做點東西放網上,那時候主要是接觸到都是些很廉價的虛擬主機,而且針對學生也沒啥優惠,再便宜一年也要小300塊,所以伺服器資源都是從飯錢裡省出來的,現在學生9.9就能買伺服器了,條件比我們那時候優渥很多了,社會在進步~
畢業後,我腦子一熱,一腳跨進了媒體行業做研發,10年風雨,一路走來,無論是研發還是企業管理都感觸頗多,感觸最深的是開源、雲化對行業的影響是最深的。
因為我們本身是做媒體行業軟體的企業,10年,我們的客戶需要花費好幾十萬去採購一套軟體,然後再買上3-5臺伺服器去部署到本地,之後每次升級再花幾萬塊請技術人員來上門服務。
彼時,傳統媒體大興,沒有人覺得這中付費模式和交付方式是一個問題,因為當時的傳媒集團都很有錢,然而隨著網際網路的發達、新媒體的崛起,傳統媒體的日子越來越不好過,“一次性付費+本地部署”這種模式就變成了它們的負擔,而且新媒體的崛起倒逼著傳統媒體要“快一點”、“再快一點”,整個行業的系統服務、軟體服務都到了迫切改革的時候,此時我們推出了基於雲環境的SaaS化服務,在行業內獲得了較好的口碑。這一切的背後既是時代的變遷,也是科技的進步,才讓我們以傳統廠商10%的成本去運營,1%的週期去交付我們的產品。也正是藉著這個機會,我們徹底的擁抱了雲生態。
那時候,我們的技術棧主要是SVN+PHP+MYSQL,因為創業初期我們需要更好的迭代效率和更低的招聘成本。
運作一年後,產品也賣的不錯,口碑也不錯,但是我們收到的運營故障直線上升,處理BUG的效率也大不如前,我們開始反思,是不是我們的技術棧出了問題?是不是我們的運維技術不到家?
後來經過一系列的調整,我們調整了我們的技術棧。
所有基於HTTP的服務,使用Git+PHP+MongoDB進行處理,大資料集的檢索使用阿里雲的OpenSearch進行管理和供能,日誌全量打入SLS中。
所有持久化的服務,使用Git+JAVA+MongoDB進行處理,統一通過阿里雲的MNS佇列進行排程管理,日誌同樣打入到SLS中。
所有打入SLS的資料,最終可以通過阿里雲的ODPS(現在叫MaxCompute)進行離線計算並輸出,為企業提供了一整套的大資料處理方案。
就這樣運作了一段時間後,產品的運營、研發沒問題了,但是迭代交付和運維開始出現問題,我們做了一個大膽的決定,很激進的把架構層進行了重構,全量依託Docker進行產品的交付、執行,也因此我們成了阿里雲容器服務的第一個商業客戶。
再後來,我們內部提效升級,把研發工作流改為了阿里雲的“雲效”產品,彼時它還叫“RDC”,還沒有這麼洋氣的名字。
我們從2010年開始擁抱阿里雲,雖然踩過很多坑,走過很多彎路,但是給我印象最深的是阿里雲同學的堅韌光芒。
你凌晨3點業務出問題了,阿里雲的同學會在5分鐘內釘釘或者電話給你處理,問題比較大的情況下可能整個產品部門的同學都會參與,往往是凌晨3點出問題,拉了個釘釘群,處理到天亮發現群裡有20個阿里的同學了。
雲產品永遠在走向完美的路上,但是這一路上少不了同學們的添磚加瓦、架橋鋪路!
因為之前的經歷,認識了上百位阿里雲的工程師,也為很多產品提出了建議,所以有幸在2017年受邀成為“阿里雲MVP”的一員。
加入MVP組織後,覺得最大的感覺是,壓力變大了,因為大家的水平都很高,倒逼著你去學習,去成長,去做更優秀的人。
所以我在18年的深圳雲棲大會上做分享的時候最後以一句“我見青山多嫵媚,料青山見我應如是”收尾,也是希望在我眼中的優秀的MVP們,看我時也覺得我很優秀,算是一種鞭策激勵吧。
加入MVP組織後,隱形福利挺多,首先你出的產品出問題後,響應時間更快了。而且提產品建議響應的更好、更被重視。再加上和各種行業大牛的交流機會,更是難得。
最讓我高興的是,可以提前體驗各種阿里雲的內測新產品,比如我最近就領了一套阿里雲的物聯網開發套件進行體驗,雖然我不是IoT方向的開發人員,但是玩玩樹莓派還是很有樂趣的。
10年來,作為一個開發者,雲端計算一定是對我影響最大的事件,阿里雲作為中國雲端計算領域的佼佼者在我的開發生涯中是舉足輕重的。
雲端計算的優美在於,把曾經踩過的坑和得到的經驗都毫無保留的告訴了全世界,給了我們技術人員一盞指路明燈。
這種思想上的傳遞,是我覺得雲如此重要的原因,也正是因為眾多的開發者、創業公司吸收了這些思維火花,才創造瞭如此多的奇蹟。
本文由阿里雲 MVP 戚俊原創。
相關文章
- 十年web老兵整理的web前端文章Web前端
- 這十年,阿里開發者畢玄的日常阿里
- 防止大資料“殺熟”大資料
- 判菜系、調眾囗、打分數,這一回,我們用大資料燒菜?大資料
- 做開發十年,我總結出了這些開發經驗
- 資料庫老兵:大資料時代NoSQL不是顛覆性技術資料庫大資料SQL
- 如何避免被大資料“殺熟”?這波操作你要懂大資料
- “大資料殺熟”將被明令禁止:亞馬遜才是大資料殺熟演算法的鼻祖大資料亞馬遜演算法
- 大資料這麼火,大資料到底可以用來做什麼?大資料
- 我理解的大資料大資料
- 中年黑客高考“回憶殺”:如果你想從事安全。。。黑客
- 我工作這十年-中國在崛起
- 優秀的機器學習開發者都是這樣做的!機器學習
- 我,劇本殺SaaS開發者,年入700萬
- 【轉載】回憶與反思:我在網際網路大廠的那些年
- 雷軍:我這十年來的思考(成功的關鍵!)
- 我工作這十年-世界在變化
- 去加勒比海做IT專案的幾點回憶
- 《吸血鬼倖存者》開發者:我花了大約1000歐元做遊戲,沒想到它能這麼火遊戲
- 放棄十年遊戲生涯?這群行業老兵扎進了視覺小說領域遊戲行業視覺
- 大資料“殺熟”、搭售、押金不退......電商這些行為有望依法規範大資料
- 從2021分散式資料庫開發者大會里,我們找出了這8個關鍵詞分散式資料庫
- 從2021分散式資料庫開發者大會裡,我們找出了這8個關鍵詞分散式資料庫
- 我做自由開發者學到的 4 個教訓
- 回憶那些年我玩過的ide,看看哪些你也玩過,看圖回憶IDE
- Google 開發者大會,這一次,我們再見未來Go
- 什麼是大資料?大資料開發是做什麼的?大資料
- 大廠十年IT老兵血淚教訓,IT人到底要如何選擇合適的報表工具?
- 一圖回顧 2021分散式資料庫開發者大會精彩看點分散式資料庫
- 我的大資料學習之路大資料
- 騰訊十年老兵:區塊鏈本質上是一個異地多活的分散式資料庫區塊鏈分散式資料庫
- IT老兵告訴你資料中臺和大資料平臺有啥不一樣?大資料
- 我們如何使用CRM做資料分析?
- 渲染大量資料我是這樣操作的
- 大資料+人工智慧,智慧通訊的殺手鐧大資料人工智慧
- 整頓“大資料殺熟”,最新處罰出爐!這些企業紛紛中招......大資料
- IT十年-大資料系列講解之HDFS(二)大資料
- 《壞小孩》開發者的90年代記憶:我想要記錄那個大廈崩塌的時代