從最初被質疑僅僅是個廣告概念,到如今形成巨大的產業生態,雲端計算已經高速發展十餘年。這十餘年間,IT 世界天翻地覆,無數新理念、新技術不斷湧現,其變革速度讓開發者應接不暇,沒有誰敢確信,自己正走在時代的最前沿。
或許也正是因此,re:Invent 作為雲端計算領域的全球最大規模的會議,每年都能吸引上萬名開發者去往拉斯維加斯。今年是 re:Invent 第十年,在過去的十年中,re:Invent 曾無數次預見未來,其部分產品釋出堪比權威機構的調研定調,使得這場盛會幾乎成為全世界開發者看向未來的視窗。
那麼,在過去十年間,雲上世界究竟發生了什麼,未來又將呈現何種趨勢?本文將帶讀者回溯 re:Invent 十年,與雲端計算的發展史相結合,看看雲上技術的變遷歷程。
1 計算服務時代:雲端遷移熱潮(2006)
雲端計算的誕生,並非一蹴而就。
曾經,大多數企業都苦惱於採購硬體和租用 IDC 機房來構建 IT 基礎設施,亞馬遜也是其中之一。關於亞馬遜為何開始提供雲服務,業界還流傳著一個這樣的小故事。
據說當時,亞馬遜內部有很多專案團隊,任何專案團隊測試新產品需要伺服器資源。在伺服器資源供不應求的情況下,團隊負責人只能去找 CEO 貝索斯哭訴。貝索斯聽聞後,當即向技術團隊大發雷霆:“是你們扼殺了亞馬遜人的創造力。”
那段時間,貝索斯在一本書中偶然看到“基元”的概念,於是嘗試將“基元”的概念應用到開發中——將計算和儲存分離為最小、最簡單的元件,供開發者使用、創造。通過這個方式,亞馬遜內部的創造力得到極大的釋放。貝索斯思考,能不能把這些基元也對外提供給開發者呢?
2006 年,亞馬遜推出 Amazon Web Services,以 Web 服務的形式向企業提供 IT 基礎設施服務。通過將虛擬機器和儲存服務提供給開發者,使用者不需要構建自己的伺服器,就可以獲取計算和儲存能力,並且可以像水電一樣隨取隨用。2006 年 3 月 14 日 Amazon Web Services 釋出 Simple Storage Service(簡稱 S3),至此,計算時代的新紀元拉開帷幕。這個紀元叫做“計算服務時代”,人們形象地以“雲”來命名這種嶄新的計算資源服務模式。
緊接著,微軟在 PCD 2008 上釋出 Windows Azure 技術社群預覽版,谷歌也在 2008 年推出了 Google App Engine 的預覽版。那段時間,計算和儲存分離的理念初步確立,各大雲廠商致力於為企業提供一些基礎設施服務,各種型別的虛擬機器、儲存服務層出不窮,一度在行業內形成雲端遷移熱潮。
但遷移式的計算服務,仍然只是雲端計算的雛形。誰都沒有料到,整個 IT 世界的基礎設施都將徹底改變。同時,此時的業內依然存在大量“資訊牆”,開發者和最前沿的雲理念、雲技術被分隔開,阻礙了前沿技術的創新和推廣。
2 雲原生時代:從 On Cloud 走向 In Cloud (2010)
計算服務時代方便了企業主,同時也讓企業主們發覺,這還不夠。企業上雲,不僅僅要從基礎設施和平臺層面實現,還需要應用本身包括架構設計、開發方式、部署維護等就是基於雲的特點而開發。
在“雲”這種巨集大的設想下,僅僅實現伺服器的搬遷未免太簡陋。於雲服務商而言,單純的虛擬化也再無法滿足高速增長的客戶數量。
因此,雲原生作為一種更適合雲端計算架構特點的應用開發技術和運維管理方式出現了。
雲原生的概念最早是 在 Paul Fremantle 2010 年的一篇部落格中被提及,主要將其描述為一種和雲一樣的系統行為的應用編寫,比如分散式、鬆散的、自服務的、持續部署與測試的。如果說,計算服務時代是“On Cloud”,那麼雲原生就是“In Cloud”。但此時的雲原生,只是個“暢想”,從誕生之處,雲原生之於開發者,就是絕對抽象的。
不過,誰都沒成想,2012 年,一場硬核盛會 re:Invent 登上了歷史的舞臺。有史以來第一次,開發者與前沿雲技術之間的“資訊牆”,被成片推倒。全球超過 6000 名開發者來到美國拉斯維加斯,在為期三天的議程裡,在超過 100 項日程裡,交流各類雲技術的最新進展,從白天直到深夜。
正是在這場大會上,亞馬遜雲科技推出了業界首款雲原生資料倉儲 Amazon Redshift,標誌著雲原生開始從概念落地為產品,從理念上升為可落地的技術棧。
這場 re:Invent 不但讓拉斯維加斯從此成為開發者的樂園,也似乎摧毀了整個雲原生產業的閘門,隨後的發展幾乎是井噴式的。
2013 年,Netflix 雲架構師,Adrian Cockcroft 介紹了 Netflix 在亞馬遜雲科技上基於 Cloud Native 的成功應用;2013-2014,Docker 釋出,Kubernetes 開源;2015 年,雲原生計算基金會(CNCF)成立,雲原生概念和實施方法逐漸進入主流視野。同年來自 Pivotal 的 Matt Stine,他在他的電子書《遷移到雲原生應用架構》中把 Cloud Native 描述為一組最佳實踐,具體包含如下內容:十二因子,微服務,敏捷基礎設施,基於 API 的協作,反脆弱性。此後,Pivotal 公司又對雲原生的特徵進行了幾次修訂,最終將雲原生的特點概括為當下被普遍認同的:DevOps + 持續交付 + 微服務 + 容器。
在 Docker 興起後,各大公有云都不約而同的對外提供容器相關的標準 PaaS 服務。對容器進行管理和編排成了亟待解決的問題,經過一場沒有硝煙的編排框架大戰,Kubernetes 以成為容器編排領域的事實標準而宣告勝利。
但這一切,都起始於 2012 re:Invent ,全世界的開發者從此記住了這個大會 —— 它像個先知,遇見了雲原生的成功,並將其迅速落地驗證。
3 資料爆發時代:從容器雲走向資料雲(2014)
隨著雲原生的理念和產品逐漸齊備,行業最新迎來的挑戰不是上雲轉型問題,而是資料爆炸問題。
伴隨著移動網際網路和萬物互聯時代的到來,資料的規模開始呈指數級增長。2010 年,全人類生產活動一年產生的資料總量剛剛突破 ZB 級,而到 2020 年這個數字已經達到 64 ZB。如日本日立集團(Hitachi) 2013 年 6 月初就成立了日立創新分析全球中心, 其廣泛收集汽車行駛記錄、零售業購買動向、患者醫療資料、礦山維護資料和資源價格動向等龐大資料資訊開展大資料分析業務。
傳統的計算和儲存方式無法滿足現階段資料規模的需求。資料產品生態也在以驚人的速度進行創新,從傳統的關係型資料庫擴充到各類非關係型資料庫和大資料相關的雲服務。
2014 年 re:Invent 上,亞馬遜雲科技推出首款專門為雲打造的資料庫 Amazon Aurora。Aurora 完全相容最流行的 MySQL 和 PostgreSQL 關係型資料庫,同時實現了計算、儲存的高度分離和近乎無限擴充套件。它既具備高階商用資料庫的速度和可用性,又兼具開源資料庫的簡單性和成本效益,其成本僅有商業級資料庫的十分之一。自 2014 年釋出至今,Amazon Aurora 始終保持著亞馬遜雲科技有史以來增長最為迅速的服務。
又是在 re:Invent ,全世界的開發者見證了大資料技術和雲端計算結合的威力。亞馬遜雲科技陸續釋出並對外提供了十五種種專門構建的資料庫服務,支援關係、鍵值、文件、記憶體、圖、時間序列、寬列和分類賬八大資料型別。
Amazon Aurora 的釋出揭開了雲資料庫時代的大幕。此後幾年,亞馬遜在資料庫產品方面不斷革新,開創了無伺服器雲原生資料庫的先河,2018 年釋出的 Amazon Aurora Serverless v1 版也在 2020 年 re:Invent 上釋出了 v2 版,Aurora Serverless v2 可以在一秒內將資料庫工作負載從數百個事務擴充套件到數十萬個事務。,先後釋出的 Amazon Aurora Global Database(全域性資料庫),Amazon DynamoDB Global Table(全域性表)等一系列發展標誌著全球同步能力也是重要的雲原生資料庫技術趨勢。
4 AI 時代:從“雲”+AI 到創新試煉場(2016)
算力的增長是人工智慧的能力支撐;海量資料的爆發讓人工智慧演算法有了用武之地。在資料、演算法、算力三要素的共同作用下,人工智慧應用已經達到了從硬體到底層框架到訓練部署等完整的工程化體系。
2016 年,AlphaGO 擊敗人類圍棋棋手李世石後,人工智慧技術迎來高速發展期。到了 2017 年,機器學習工程化時代徹底到來,機器學習已從外圍應用逐漸變成各行各業、企業和組織的核心能力。
2017 年的 re:Invent 上,亞馬遜雲科技釋出面向所有開發人員和資料科學家的全託管的機器學習服務——Amazon SageMaker。SageMaker 為開發者提供了一套完備的“中央廚房”,使用 SageMaker 開發者只需準備好“食材”(資料)就可以直接開始做菜(訓練模型),大大提升了開發人員和資料科學家構建、訓練和部署機器學習模型的效率,開啟了全新的智慧時代。2020 年 re:Invent,亞馬遜雲科技進一步釋出了 Amazon SageMaker Studio , Amazon SageMaker Studio 成為首個全整合的 ML 開發環境。
人工智慧和 AI 的結合是必然趨勢。雲產品本身的 SaaS 屬性天然的適合將新技術由概念推向具體的應用場景。不僅僅是人工智慧,近兩年興起的區塊鏈、IoT、量子計算背後,都是以雲端計算作為載體。雲端計算正逐漸成為創新技術重要的試練場。
5 每一個節點,都是起點
從計算服務時代到雲原生時代,從資料爆發時代到 AI 時代。每個時代都始於某個關鍵性的節點,而後不斷向前發展,成為新時代的基礎。re:Invent 也是屢屢出現在這樣的關鍵節點上,成為將技術理念轉化為工業級雲產品的“排頭兵”。
計算儲存服務領域,繼 S3 釋出後,亞馬遜雲科技 2017 年推出 Amazon Nitro 架構,Nitro 系統幫助使用者擺脫虛擬化束縛,雲伺服器效能“零”損耗;2019 年推出第二代自研 Arm 架構處理器 Graviton2,開創企業級應用大規模使用 Arm 架構服務的時代,價效比提升 40%。
伴隨著雲原生時代的到來,2014 年 re:Invent 上,釋出首個公共雲供應商提供的無伺服器計算產品 Amazon Lambda,將無伺服器時代推上浪潮,事實證明,這款產品的釋出又一次成功預見了未來。2019 年,Serverless 被 Gartner 稱為最有潛力的雲端計算技術發展方向。
雲資料庫方面,Amazon Aurora 揭開雲時代大幕後,在 2020 re:Invent 上釋出的 Aurora Serverless V2,實現了雲原生關係型資料庫能像微服務一樣的自動彈性伸縮,為當下與未來那些要求極高的應用與工作負載提供靈活支撐。
未來雲端計算將如何發展?又有哪些新技術將會與雲端計算進行結合推動時代的巨輪向前?前路未知,但 re:Invent 不失為一座照亮未來的燈塔。通過這座燈塔,開發者可以對未來的趨勢有一個基本的認知和把控,企業也有機會在發展的道路上實現彎道超車。
引領雲端計算髮展十年之久的盛會,將繼續在美國內達華州拉斯維加斯開啟下一個十年的新篇章。屆時亞馬遜雲科技將在北京時間 11 月 30 日起同步對本次大會進行線上直播。
此次大會,Adam Selipsky 將首次以亞馬遜雲科技新任 CEO 的身份亮相 re:Invent。大會設定產品、行業、組織、社群和角色五大專題。22 位來自亞馬遜雲科技各個領域的領袖將齊聚亮相,帶來包括技術、培訓認證、機器學習、商業等多個領域的分享。目前,有哪些新產品和技術會在此次大會上首次釋出還不得而知,只能心懷期待,靜候北京時間 11 月 30 日「引領風向,重塑未來」亞馬遜雲科技 re:Invent 的盛大開啟。點選下方圖片,免費註冊報名。