開篇:創新是亞馬遜雲科技發展的最持久驅動力
雲端計算,新世紀以來最偉大的技術進步之一,從2006年 Amazon Web Service 初創時的小試牛刀,到如今成長為一個巨大的行業和生態,已經走過16年的風雨歷程。
Java之父詹姆斯·高斯林 (James Gosling)在一次針對亞馬遜雲科技 re:Invent 峰會的採訪中說道:“雲端計算概念的出現要遠早於雲端計算的真正實現。在雲端計算發展早期,人們只是繼續使用自己早已開發完成的普通應用程式,直接把它們執行在雲服務商的裝置上。後來,人們開始編寫出專為雲環境設計的應用程式。於是,行業中才陸續湧現出雲資料庫等在傳統集中式資料中心內看不到的技術方案。過去幾年,數字化轉型已經全面掀起浪潮。而這波轉型也凸顯出新的事實:我們還有更多的探索空間和機遇。對我個人而言,最讓人眼前一亮的應該是 Gravition3 的釋出。它給眾多應用帶來了良好的執行環境。它被整合在亞馬遜雲端計算架構當中,能夠為使用者希望在雲端執行的一切負載提供良好支援。確實,亞馬遜雲科技已經改變整個 IT 行業。”
亞馬遜雲科技已成長為全球最大的公有云平臺。在基礎設施層面,亞馬遜雲科技擁有遍及全球27個地理區域的87個可用區,覆蓋245個國家。它無處不在,從城市中心的辦公樓宇到工廠,到農田,到偏遠地區的石油鑽井和遠洋作業平臺,甚至看似遙不可及的太空。在行業領導力層面,亞馬遜雲科技連續12年被 Gartner 評為雲端計算行業的領導者。在市場佔有率層面,亞馬遜雲科技佔據全球公有云市場的1/3以上。在產品服務層面,亞馬遜雲科技是全球功能最全面的雲平臺,提供超過 200 項功能齊全的服務,而且每年推出的新功能或服務數量飛快上漲。在使用者及生態層面,不僅擁有數百萬客戶,還擁有最大且最具活力的社群。
圖1 Gartner2022年雲基礎設施和平臺服務魔力象限
那麼,究竟是什麼驅動亞馬遜雲科技一直在高速發展?是創新!創新是亞馬遜雲科技發展的最大最持久驅動力。在筆者看來,亞馬遜雲科技的創新體系至少包括技術創新、商業創新、生態創新、使用者創新四大層次。
- 技術創新
亞馬遜雲科技技術上的創新不勝列舉。2006年首開行業先河,釋出 S3 儲存服務、SQS 訊息佇列及 EC2 虛擬機器服務,正式宣告了雲端計算時代的開啟。2007年發表了被認為是NoSQL技術開山之作的 Dynamo 論文,2012年進而釋出 Amazon DynamoDB 服務。2014年推出 Amazon Lambda 服務,開創了無伺服器計算領域的先河,第一次使開發人員無需預置或管理伺服器即可執行其程式碼。2017年釋出完全託管的機器學習服務 Amazon SageMaker,讓日常開發人員和科學家無需任何前置經驗即可運用機器學習。亞馬遜雲科技一直在探索前人未走過的路,很多都是改變遊戲規則的創新。它一直被模仿,從未被超越。(備註:關於 Amazon Serverless,可閱讀筆者的《亞馬遜雲科技 15 年:從 Serverful 到 Serverless》一文)。 - 業務模式創新
亞馬遜雲科技在業務模式創新上一直在推陳出新。亞馬遜雲科技的出現,本身就是一項偉大的業務創新。2006年,Amazon 將閒置 IT 資源變成服務賣給其它企業,採用訂閱制和按量付費的計費方式,開了雲端計算先河,開始改變整個 IT 世界。2009年,亞馬遜雲科技將閒置的 EC2 例項以拍賣的方式提供給使用者,釋出了 Amazon Spot Instance,這又創造了閒置雲資源的全新售賣模式。在分散式雲模式上,亞馬遜雲科技擁有覆蓋範圍領先的全球雲基礎設施,從各地理區域和全球骨幹網向各種邊緣擴充,包括中心城市、5G公網、5G專網、客戶本地資料中心、物聯網乃至太空。(備註:關於亞馬遜雲科技分散式雲,可閱讀筆者《從混合雲到分散式雲》一文)。 - 生態創新
亞馬遜雲科技擁有全球最大且最具活力的雲上生態社群。雲生態已經成為雲端計算棋局中的勝負手。當使用者對雲端計算的關注點從基礎架構延展到雲上應用時,勢必對提供雲端計算服務的廠商提出更多更高的要求,這也促使雲廠商與應用開發者更緊密地進行生態合作和融合,致力於提供一個架構靈活、敏捷開發、安全可靠的雲端計算基礎平臺,而眾多的開發者和 SaaS 廠商則致力提供種類豐富的應用。亞馬遜雲科技一直在引領雲生態創新,其創新性產品和服務也層出不窮。2012年亞馬遜雲科技成為第一個推出雲市場的雲基礎設施提供商。如今,亞馬遜雲科技在全球有超過12萬家合作伙伴,分佈在150多個國家,其雲市場提供12000多個軟體產品,已成為最大最健全最活躍最有生命力的雲生態系統。 - 使用者創新
亞馬遜雲科技一直致力於成就探路者。影片行業中,十多年前 Netflix 大膽地把所有IT基礎設施遷移到了亞馬遜雲科技上,不僅重塑了自己的業務,更是重塑了整個娛樂產業,成為雲端計算發展史上的經典使用者案例。金融業中,Capital One 在2020年完成了從資料中心到 亞馬遜雲科技的遷移,成為美國首家宣佈全面轉向雲的銀行。廣告行業中,Untold Studios 完全基於雲端的工作室,重塑廣告製作模式。亞馬遜雲科技上的客戶創新成果例子不勝列舉。應該說,如果沒有如此多的客戶的成功,那就不會有今天亞馬遜雲科技的成功。
接下來,筆者將用8個具體生動的例子來闡述亞馬遜雲科技是如何進行創新的。
技術創新案例兩則
1. Amazon Ground Station 服務,軟體定義的衛星地面站。
自從1957年前蘇聯發射了人類歷史上第一顆人造衛星,迄今為止,世界各國已將數以萬計的衛星送上太空。衛星對地球人的日常生活越來越重要,比如娛樂、軍事、通訊和導航等。2020年,我國首次將衛星網際網路納入新基建範疇,衛星網際網路建設上升至國家戰略性工程。2021年,SpaceX 執行長埃隆·馬斯克表示,SpaceX 正在快速推進其星鏈衛星網際網路計劃,將發射數萬顆衛星上天。
圖2 人造衛星
衛星通訊系統是指利用人造地球衛星作為中繼站轉發或發射無線電波,實現兩個或多個地面站之間,或地面站與衛星之間通訊的一種通訊系統,主要由空間段、地面段與使用者段構成。
圖3 衛星通訊系統原理示意
其中,地面站,又稱地球站或地球終端站,是衛星通訊系統的一個重要組成部分。地面站的基本作用是向衛星發射訊號,同時接收由其它地面站經衛星轉發來的訊號。衛星地面站的建設和衛星資料獲取能力已經成為國家生態環境、國防安全、地球科學技術發展的重要部分。世界各國以巨大的投入在全球建立衛星地面接收站,其推動力即在於此。
過去,衛星地面站一般都需要衛星所有者自行建立或租用,而且為了保證接收和傳送效果,要求地面站分佈在全球各個地方。所以,一方面,需要大量的資本投入和運營成本;同時,站點的數量很難滿足大規模衛星應用的需求。如此高昂的成本,對很多使用者尤其是近年來蓬勃興起的衛星初創公司來說是難以承擔的。因此,這種傳統地面站建設和使用模式亟待創新性重塑。
圖4 衛星地面站天線
2000年,亞馬遜前 CEO 傑夫·貝佐斯創立了藍色起源 Blue Origin,這家火箭公司想低成本的將衛星送入太空。2018年,亞馬遜雲科技創新性地推出名為 Amazon Ground Station 的新服務,向衛星初創公司提供低成本的軟體定義的地面站基礎設施。
Amazon Ground Station 提供了一個可分時租用的、雲服務形式的、由分佈在全球多個區域的地面站組成、緊鄰亞馬遜雲科技基礎設施區域全球網路的全球網路。藉助 Amazon Ground Station,使用者無需再擔心購買、租賃、構建、擴充套件或管理您自己的衛星地面站。
Amazon Ground Station 服務可讓客戶使用由全球數十個地面站組成的全託管網路,經濟高效地從衛星下載資料到亞馬遜雲科技全球基礎設施區域。這是一項完全託管的服務,可用於控制衛星通訊、處理資料和擴充套件運營,而無需考慮如何構建或管理自己的地面站基礎設施。藉助它,使用者可以直接訪問亞馬遜雲科技服務和亞馬遜雲科技全球基礎設施(包括低延遲全球光纖網路)。
例如,使用 Amazon S3 儲存已下載的衛星資料,使用 Amazon Kinesis Data Streams 管理從衛星接收的資料,使用 Amazon SageMaker 構建適用於您的資料集的自定義機器學習應用程式。
圖6 Amazon Ground Station 服務架構原理
和其它雲端計算服務一樣,使用者無需做出長期使用承諾,只需按實際使用時間付費;可依靠地面站的全球覆蓋範圍隨時隨地下載資料,根據業務情況按需快速擴充套件衛星通訊規模,從而節省多達 80% 的地面站成本。
Amazon Ground Station 地域分步廣泛,每個區域都配備多個天線,您可以直接將衛星資料下載到某個亞馬遜雲科技區域進行即時處理。
圖7 亞馬遜雲科技衛星地面站網路節點分佈
Amazon Ground Station 是全球第一個全託管的地面站即服務,它正在改變衛星地面站的建設和運營模式,必將深刻地影響衛星通訊行業。這項服務也使得亞馬遜雲科技服務網路從地面延伸至太空。
2. 亞馬遜雲科技自研定製晶片,開啟以雲重新定義 IT 硬體的新時代。
過去,雲端計算的創新集中在軟體領域;現在,雲端計算深入整個基礎設施。其中,晶片創新是發生在最底層的創新,往往也是最具顛覆性的,晶片層面的創新是改變雲端計算遊戲規則的能力。亞馬遜雲科技的自研晶片之路,開業界先河,引業界潮流。一路走來,走得非常堅定,非常快速,成果豐碩。它是一個亞馬遜雲科技強大技術創新能力的例證。
2013年亞馬遜雲科技推出首顆 Nitro 晶片,2015年以3.5億美元收購晶片製造商 Annapurna Labs,2018年釋出第一代伺服器晶片 Graviton,2020年起推出第一代定製推理晶片 Inferentia 和訓練晶片 Trainium。這家最先涉足自研晶片的公有云廠商,已擁有網路晶片、伺服器晶片、人工智慧機器學習晶片三條產品線。產品上包括4代網路晶片 Nitro、3代伺服器晶片Graviton、1代 AI 推理晶片、1代 AI 訓練晶片。從現在這個穿越的視角往回看, 這3.5億美元就撬動了超過4000億美元的全球雲端計算市場 。
圖8 亞馬遜雲科技自研晶片家族
Amazon 網路晶片 - Nitro晶片
Amazon Nitro 晶片的研發可追溯到2013年。亞馬遜雲科技傑出工程師 James Hamilton 早在2014年就有意無意地說過,基於 Arm 的資料中心晶片的研發速度太慢,效能也無法和x86晶片相比。在2016年的 re:Invent 大會上,James Hamilton 就從口袋裡拿出了亞馬遜雲科技自研的第一顆資料中心晶片。它其實並不是 CPU 處理器,而是一個網路晶片,主要用來支援2x25G乙太網的資料包處理。這就是亞馬遜雲科技第一顆 Nitro 晶片。
一年之後,亞馬遜雲科技釋出了新一代的 Amazon EC2 C5 例項。和前一代的產品相比,C5實現了25% ~ 50%的能效提升,並且也引入了對裸金屬的支援。這些提升背後,就是 Amazon Nitro 帶來的系統重構。
為什麼一代 Nitro 就能帶來這麼高的能效提升呢?這是因為,Nitro 將虛擬化功能從宿主機伺服器解除安裝到 Amazon Nitro 專用晶片上執行,配合一個輕量級的 Hypervisor,將虛擬化對物理機效能的損耗降低到低於1%。而傳統物理伺服器中,Hypervisor 通常會佔用大約30%的系統資源。在下圖所示的高效能運算測試場景中,基於 Nitro 的虛機例項宿主機和裸金屬伺服器相比效能上相差無幾。
圖9 裸金屬物理機和 Nitro 宿主機在 HPC 場景下的效能對比(來源:亞馬遜雲科技)
Amazon 伺服器定製晶片 - Graviton晶片
2018年的 re:Invent 大會上,亞馬遜雲科技釋出了Amazon Graviton第一代處理器。接著,2020年推出了第二代,2021年推出了第三代。推出速度之快令人咂舌,而且,更難能可貴的是每代都取得了極大的飛躍和提升。Graviton 系列Arm伺服器晶片可以說是當今資料中心市場上產量最大的Arm伺服器晶片。
基於 Graviton2 的例項相對於可比較的基於第五代x86的例項,它們為各種各樣的工作負載提供了高達40%的價效比提升。這種提升的關鍵是在其架構設計上。與x86不同的是,Graviton2每一個核只跑一個執行緒,只完成一個任務,而且每個核有自己獨享的L1和L2的快取,互相不干擾,這使得它能夠最大程度地去適應雲原生環境中需要平行擴充套件的微服務化應用。曾經有使用者表示,“透過使用 Amazon Graviton2 例項來處理我們在 MQTT 閘道器服務的協議解析和長連線狀態,CPU效能提升100%,伺服器單價降低了20%,整體的價效比提升了2.5倍”。如今,亞馬遜雲科技有12個例項系列由 Amazon Graviton2處理器驅動。
Graviton3 處理器與Graviton2 處理器相比,其計算效能提高多達 25%,浮點效能提高多達 2 倍,以及加密工作負載效能最多加快 2 倍,基於前沿 DDR5記憶體技術的記憶體訪問速度提高了50%,在同樣的效能上最多可以節省60%的能源。2022年5月,亞馬遜雲科技宣佈了其由最新的 Amazon Graviton3 處理器支援的 Amazon EC2 C7g 例項。該例項支援高達128GiB 的記憶體配置、30Gbps 的網路效能和20Gbps 的 Amazon Elastic Block Store 效能。
圖10 Amazon基於 Gravition3 晶片的例項 C7g
目前,Graviton 仍然是亞馬遜雲科技上價效比最好的 CPU 晶片。所謂價效比,就是用價格除以效能,在單位效能下,價格越低越好。對於那些每天都得跑成千上萬次計算的大公司,用Graviton晶片能讓他們每年省下幾百萬甚至幾千萬美金。
亞馬遜雲科技定製 AI 推理晶片 - Inferentia
最近十年,AI 崛起,機器學習浪潮經久不息。尤其是深度學習這個分支,已經應用到了我們生活的方方面面,比如各種 App 和網站的推薦演算法、語音識別、視覺識別等。深度學習模型的規模也在爆炸性增長,從幾年前的幾百萬引數,到最近新出模型的幾百億引數。這些都對底層的計算平臺提出了非常高的要求。
圖11 機器學習模型複雜度發展曲線(來源:亞馬遜雲科技)
深度學習分為訓練和推理兩步。深度學習模型先經過訓練把所有誤差降到最低,然後投入使用,也就是進行推理。訓練過程是很難很慢的,大的模型需要訓練幾天甚至幾周。好在過程是一次性的,一個訓練好了的模型可以被無數次重複使用。大的商用模型每天要跑上萬次推理。所以通常推理所需的花費才是公司支出的大頭。
亞馬遜雲科技坐擁世界上最大的雲端計算平臺,有極好的使用者基礎。2018年,在亞馬遜雲科技的 AI 戰略佈局下,Annapurna labs 開始做機器學習晶片。2018年底在亞馬遜雲科技 re:Invent 上宣佈,2020年正式推出 Inferentia 晶片和 Amazon Inf1 例項。Inferentia 是專門為深度學習設計的晶片,旨在以低成本提供高效能推理。Inf1是當時雲端深度學習推理領域價效比最好的例項,它具有多達 16 個 Amazon Inferentia 晶片。與當時基於 GPU 的 Amazon EC2 例項相比,吞吐量最高可提高 2.3 倍,每次推理的成本降低多達70%。
Inferentia 面世不久就收穫了許多大大小小的客戶。Amazon 內部最大的客戶是 Alexa,它被加速了25%,成本被降低了30%。在 Amazon 外部,最開始的客戶包括 Airbnb, Snapchat, Pinterest 等,後來又逐漸吸納了 Bytedance, Facebook, Apple 等大公司。
圖12 Amazon Inferentia 機器學習推理定製晶片
AWmazon 定製 AI 訓練晶片 - Trainium
Inferentia 推理晶片獲得成功之後,Annapurna labs 又開始馬不停蹄地開始訓練晶片 Trainium 的開發。2020年,亞馬遜雲科技宣佈推出專門用於訓練機器學習模型的定製晶片Trainium。Amazon Trainium 支援 TensorFlow、 PyTorch 和 MXNet,可以提供比任何競爭對手更高的效能。
圖13 亞馬遜雲科技機器學習訓練定製晶片 Trainium
兩年後的2022年10月,亞馬遜雲科技釋出了 Trn1 EC2 例項。該例項支援多達16顆 Trainium 晶片,是雲端最快的深度學習例項。在 Trn1 上執行 Hugging Face BERT 大模型,其效能對比GPU例項有42%的提升,成本降低了54%。Trn1第一次把例項的網路頻寬提高到了800GB,而10年前連10GB的網路頻寬都難以達到。
圖14 亞馬遜雲科技基於機器學習訓練定製晶片Trainium的例項Trn1
亞馬遜雲科技的三大類自研晶片組成的家族是其強大技術創新能力的傑出代表。他們一方面“量體裁衣”,把更豐富的產品的選擇權交給客戶,為客戶不斷變化的工作負載提供更好的雲服務,同時為客戶不斷最佳化雲服務的價效比。
最後,實事求是的說,比起Nvidia的GPU和Google的TPU,亞馬遜雲科技的兩款AI定製晶片在普適性以及軟體工具鏈的成熟度上都還有很長的路要走。但是,有亞馬遜雲科技這個獨一無二全球第一的雲端計算平臺為其提供源源不斷的客源和應用場景,相信亞馬遜雲科技的晶片之路會越走越好,越走越寬。
業務模式創新案例兩則
1. 自亞馬遜雲科技興起,雲端計算永久地改變了 IT 模式。
很多人說,雲端計算的核心創新是業務模式的創新,因為雲端計算永遠地改變了 IT 業務模式。
在雲端計算出現之前,如果使用者想提供基於 Web 的解決方案,就需要擁有實際的伺服器等硬體。在業務剛剛起步時,可以使用放置在地下室裡的塔式伺服器。隨著業務一步一步做大,就必須進入商業空間即資料中心了,因此這時您不僅僅需要一些伺服器,還有負載平衡器、交換機、機櫃等等。
讓我們看一組在美國早期的數字。在上世紀90年代後期,為了建立35個資料中心,有人花了一年多的時間花費了近3億美元在伺服器、路由器和電源基礎設施上才讓一切執行起來,還不包括建築物成本。10年後的2006年前後,一個50U機櫃起價約為每月2000美元,可放置六臺基於英特爾的伺服器,支援 RAID 儲存、交換機、負載平衡器等——所有這些可能至少要花費8萬美元,還需要商業網際網路服務,這將每月花費500到2000美元。而且,這種配置還不能承載太多負載,最多能承受幾千個使用者同時使用。所以,你的業務越受歡迎,你就需要越多的東西,更多的機櫃、更多的伺服器,更多的網路裝置、更高頻寬的網際網路服務,以及更多的維護人員。這些會讓你的月賬單變得越來越長。
而今天,如果需要 35 個資料中心的空間,您可以在亞馬遜雲科技上編寫一些CloudFormation 指令碼,在您泡一杯茶這麼一點點時間,一切都會被自動建立並執行起來,並且每小時只花費大約350 美元。還可以從每月200美元左右開始,然後自動縮放到所需要的任何規模。您一點也不擔心“不夠”,因為亞馬遜雲科技的規模近乎無限;您完全不用擔心買得太多,因為可以隨時釋放不需要的東西。您的投資者也會喜歡這種模式,因為這完全消除了整個技術層面的風險,並將資本支出降至幾乎為零,並大大減少了員工支出。
這種變化絕對是革命性的!這種革命性改變,亞馬遜雲科技功不可沒。雖然亞馬遜雲科技並不是第一個公有云基礎設施服務,但他們比之前的任何人都做得更大更好,而且價格也更實惠。
從2006年開始提供儲存、計算和佇列服務起,現在的亞馬遜雲科技擁有超過200項全功能的服務。而且,所有這些都正在變得越來越便宜。如今,我們認為理所當然的大部分世界 - Netflix、Twitch、LinkedIn、Facebook、Turner Broadcasting、BBC、ESPN、Adobe、AirbnB、Slack……都在亞馬遜雲科技中。
所以,是的,亞馬遜雲科技永久地改變了 IT 模式,使我們能夠自由、按需、實時地建立現代網路世界。因此,雲端計算不僅僅是技術。作為一個業務模式,它是顛覆性的,這是其最重要的方面之一。這種改變,使得海量的小企業和初創企業可以利用企業級服務和基礎設施,以及大型科技公司正在使用的技術,讓這些不再成為它們進入市場的巨大障礙。這甚至改變了競爭環境,讓各行各業在同一起跑線上自由競爭,讓單一技術壟斷成為過去。
2. Amazon Spot Instance例項,創造了公有云虛機例項全新定價方式。
拍賣行業是一種非常古老的行業。古巴比倫、古希臘、古埃及的拍賣是世界拍賣史上的第一個里程碑。人類歷史上最早的拍賣行為,見諸於文字記載的是古希臘歷史學家希羅多德在其所著的《歷史》一書中對古巴比倫(公元前1894—前709年)拍賣人口的一段描述。
1989年第二版《辭海》這樣寫道:“拍賣也稱競買,商業中的一種買賣方式,賣方把商品賣給出價最高的人”。經濟學界認為:“拍賣是一個集體(拍賣群體)決定價格及其分配的過程”。
圖15 蘇富比拍賣行的拍賣現場
對於公有云廠商來說,為最大保障其雲上彈性負載和未來發展需要,必然需要投資大量的IT基礎設施,就不可避免存在相當數量的閒置資源。但是,IT 基礎設施質保期非常短且更新淘汰速度非常快,所以必須要及時處理掉這些可能的閒置資源,但同時又不能影響其它業務開展。
一種最容易想到的辦法是直接降價促銷,但亞馬遜雲科技選擇了另一種創新性的方式,即競價例項。在公有云業內,亞馬遜雲科技首次把拍賣這一古老的商業模式和新興的雲端計算完美結合起來,於2009年12月推出了 Amazon EC2 Spot 例項。這是一種購買和使用 Amazon EC2 例項的創新方式,由市場來決定真正的價格,從而達到儘可能以最合理的價格賣出最多閒置資源的目標。
在競價例項(Spot Instance)出現之前,Amazon EC2例項按購買模式分為兩種:
- 保留例項(Reserved Instance):這是優先順序第一的例項,因為使用者已經提前付過錢了,可能是按月,也可能是按年,雲廠商無論如何都是不能動這些例項的。
- 按需例項(On-demand Instance):這是第二優先順序例項,使用者可以隨時購買隨時釋放。因此,這種需求波動性非常大,可能某個時間段大家用得很多,也可能正好沒什麼人在用。
相比較於這兩種例項,競價例項非常不一樣,其業務模式極具創新性。因為其價格不像另外兩種例項那樣在購買時就確定了,相反,是隨著供需關係的調整在不斷更新的。簡單整理如下:
- 使用者出價:使用者為獲取例項出一個自己能接受的最高價格。這類似於拍賣出價。
- 雲廠商定價:雲廠商會動態檢測當前的市場價格和庫存,一旦庫存不足,或者你的出價小於市場價格,你使用的資源就會被系統回收;如果當前市場的價格低於使用者的出價,則使用者獲得新的或保留已有的EC2例項資源用於計算。這類似於拍賣定價。
- 資源使用:你的出價只是給自己設定了一個能接受的最高限價。但是,一旦你申請到了資源,亞馬遜雲科技會按一個不高於你出價的市場價計費。同一時間,所有買家都按同一個價格在使用資源。
圖16 拍賣漫畫(來自於網路)
透過上面描述,可看出EC2競價例項有兩個特徵:一是這種例項的價格隨供需隨時變化;二是如果你的出價不夠高,這種例項會被亞馬遜雲科技隨時收回。
這個價格模式非常神奇,所以筆者用它來說明亞馬遜雲科技強大的業務模式創新能力。本質上講,按需例項是閒置資源被雲廠商拿出來低價售賣,畢竟伺服器哪怕放著不開機也是在燒錢,什麼時候有使用者按前面兩種方式買了,這些被低價賣出去的資源就會被雲廠商收回去賣給這些使用者。這種創新的定價方式至少為亞馬遜雲科技帶來三個方面的好處:
一是,充分利用價格槓桿,有效調節使用者對例項資源的需求,讓使用者把一些時間不敏感的工作負載調整到空閒時間去執行,讓亞馬遜雲科技的容量得到充分利用。
二是,為客戶省錢。公有云使用者的業務形態非常多樣化。既有那些對於連續執行和實時響應要求非常高的線上業務,又有大量離線業務和實時性要求不敏感的業務,還有常見的高效能運算(HPC)場景。甚至,使用者端還存在部分對於成本非常敏感的業務,這種業務當處理成本高於某個閥值後該業務的商業價值就不存在,如某些日誌處理業務。在過去,無論使用者的業務型別是哪種,他能獲得的資源都是為線上業務所準備的。與按需例項的價格相比,使用Spot Instance最高可以享受90%的折扣,這為使用者的非線上業務或者成本敏感業務提供了一種超低價格的的計算資源。
三是,保障亞馬遜雲科技虛機型別快速迭代的同時避免老型號虛機過度閒置,以幫助其順利實現虛擬例項迭代升級。由於CPU、記憶體、磁碟等的迭代速度非常快,為保證市場競爭力,亞馬遜雲科技虛機型別迭代週期非常短,過去一段時間基本是一年更新一代,最新亞馬遜雲科技虛機型別已經是第六代了(如2022年2月18日發的第六代基於x86的產品 - 記憶體最佳化型 Amazon EC2 R6i 例項)。新老例項價格差距不大,但效能差距明顯。因此,客戶在購買按需例項和預留例項時傾向於最新代的虛機型別,因為它們的價效比最高。但是,由於機器質保期會比例項更新週期長几倍,所以較老型別的虛機閒置比例就會偏高。競價例項為這些老型號閒置虛機提供了一個“去庫存”的最佳途徑,因為老一代的例項型別其競價例項價格最便宜,而且波動還很小。
競價例項是公有云售賣閒置資源的最佳方式。自從亞馬遜雲科技提出後,各大公有云廠商迅速跟進,已成為業界事實上的標準。
生態創新案例兩則
1. Amazon Marketplace,深刻地改變了2B數字供應鏈。
智慧手機被認為是過去20年最具影響力的技術創新之一,而蘋果公司的iPhone是其中最傑出的代表。很多業內人士認為,真正具有革命意義的產品是蘋果的另一項創新:iPhone應用商店(app store)。對手機行業來說,2008年推出的App Store遠比iPhone意義更大,因為它重新定義了在智慧手機上下載應用程式的方式。只有在應用商店吸引了無數第三方軟體供應商後,智慧手機才從一個略微有用的裝置變成了一個革命性的平臺。蘋果總裁蒂姆•庫克曾經說道:“App Store是史無前例的,它的功能也改變了世界。”
Amazon Marketplace 就是 Amazon App Store。在 2012年 Amazon Marketplace 剛推出的時候,這是一個相當新穎的創新,亞馬遜雲科技也隨之成為第一個推出雲市場的雲基礎設施提供商。它是一個企業級的線上應用商店,幫助客戶尋找、購買、遷移並立即開始使用構建產品和開展業務所需的軟體和服務。使用者可使用一鍵部署功能快速啟動預先配置的軟體,只需按實際使用量付費。亞馬遜雲科技負責處理賬單和付款,而且軟體費用就顯示在客戶的亞馬遜雲科技賬單上。
圖17 Amazon Marketplace logo
到2014年,亞馬遜雲科技市場中已經有超過500個領先同類的銷售商,如思科、帕洛阿爾託網路、趨勢科技和 F5等等。他們推動 Amazon Marketplace 成為第一個推出年度訂閱的雲基礎設施市場。
2016年,轉向雲端計算的客戶告訴亞馬遜雲科技,他們開始青睞 SaaS。現在,Amazon Marketplace 中有超過1000種 SaaS 產品,其中許多產品來自人們耳熟能詳的供應商,如趨勢科技、 F5、 Datadog、MongoDB、Databricks 和 Snowflake。客戶越來越喜歡 SaaS,因為不再需要管理他們自己的部署。
去年,亞馬遜雲科技銷售了數十億美元的產品和服務,這一數字繼續快速增長。如今,亞馬遜雲科技在全球有超過12萬家合作伙伴,分佈在150多個國家。Amazon Marketplace在全球提供了12000多個軟體產品,覆蓋安全、聯網、儲存、機器學習、IoT、商業智慧、資料庫和開發運營等60多大類。越來越多的人認為,透過提供如此多的方式來購買和部署如此多的數字商品,Amazon Marketplace正在“改變數字供應鏈”。
2. 亞馬遜雲科技 + Snowflake,雲生態合作的典範
任何資料倉儲(Data Warehouse)的核心思想是將來自多個獨立資料來源(如CRM、 OLAP/OLTP 資料庫、企業應用程式等)的資料整合到一個單一的集中位置,用於分析和報告。
Snowflake在2014年正式推出,是基於雲的企業級資料倉儲的一個優秀代表,它提供SaaS解決方案和一個SQL 查詢引擎。與傳統同類產品不同的是,Snowflake只為公有云設計,天然雲原生,不能在本地執行。該平臺為資料儲存、處理和分析提供了快速、靈活和易於使用的方案。它最初構建在亞馬遜雲科技之上,後來也可在谷歌雲和微軟 Azure 上使用。
圖18 Snowflake架構原理示意
早在2013年,亞馬遜雲科技就釋出了一個和Snowflake類似的產品 - 雲資料倉儲服務Redshift。這讓兩家的關係變得非常微妙而又引人深思。幾年下來,亞馬遜雲科技與 Snowflake 之間的關係經歷了一個動態的弧線,兩家公司在合作精神的指引下,從競爭對手演變為友敵,再演變為為共同客戶服務的更具戰略意義的盟友。
2015年,亞馬遜雲科技和 Snowflake 之間是壓倒性的競爭者關係。
2017年,亞馬遜雲科技釋出了 PrivateLink,這是當時最新一代的 VPC 終端節點,它允許在 Amazon VPC 之間進行直接和安全的連線,而無需經過公共網際網路。Snowflake 團隊與亞馬遜雲科技產品團隊密切合作,將 PrivateLink 與 Snowflake 整合,成為首批合作伙伴之一。這種合作,使得讓具有嚴格安全策略的客戶能連線到 Snowflake。這種三贏結果,讓後面兩家的關係變化埋下了伏筆。
2019年前後,亞馬遜雲科技和 Snowflake 有大約30個聯合客戶交易,這讓他們的關係開始轉變。他們開始建立一個共同的戰略:集中在共同的客戶用例上,圍繞遷移大型客戶和他們的資料導向的工作負載到亞馬遜雲科技上的 Snowflake 上。透過緊密合作,雙方開始意識到,兩家不一定需要競爭,還可以聯合起來為他們共同客戶提供差異化的、最好的解決方案。
2020年中期 IPO 之前,Snowflake 公司透露,它已承諾在2025年7月之前投入12億美元用於亞馬遜雲基礎設施服務。顯然,隨著時間的推移,兩家的關係已經完全發生了變化。筆者相信,是兩家“以客戶為先”的經營理念和類似的 DNA,幫助創造了這種變化的空間。
現在,Snowflake 有20多個橫向產品與亞馬遜雲科技整合,這是其雲提供商合作伙伴中最多的。在亞馬遜雲科技 re: Invent 2021上,Snowflake 成為 Amazon AI 資料分析(AIDA)解決方案的首批重要合作伙伴。它還深化了與 Amazon SageMaker (亞馬遜雲科技的旗艦機器學習服務)的整合,並且是 SageMaker Canvas 的首批唯一合作伙伴。
如今,Snowflake 已經成為亞馬遜雲科技最大的合作伙伴之一,並擁有眾多聯合客戶,從醫療保健公司 Anthem 到全球航運和郵寄公司 Pitney Bowes,再到金融服務提供商西聯匯款(Western Union)。
圖19 亞馬遜雲科技和 Snowflake 緊密合作
亞馬遜雲科技最終意識到,像 Snowflake 這種合作伙伴在其平臺上獲得成功時,它自己也受益匪淺。因為,當客戶選擇合作伙伴提供的服務,作為底層雲服務提供商的亞馬遜雲科技就會獲得合作伙伴提供的服務的消費分成和底層雲資源的使用。公開資料顯示,雖然 Snowflake 目前也執行在微軟 Azure 和谷歌雲平臺上,但其相當大部分業務執行在亞馬遜雲科技公有云基礎設施上。
我們經常聽到“生態系統”這個詞,而生態系統成功的關鍵是雙方如何最大限度地為客戶提供最好的結果。在亞馬遜雲科技和 Snowflake 專案中,我們看到的是一個真正的雲生態系統。這是雲生態成功的一個典範,值得全雲端計算行業深入研究。
使用者創新案例兩則
1. Untold Studios 100%基於雲端的工作室,重塑廣告製作模式。
一年一度美國春晚“超級碗(Super Bowl)” - 第56屆美國職業橄欖球大聯盟年度冠軍賽,在北京時間2022年2月14日晚上落下帷幕。“超級碗”歷來都被奉為美國年度收視率最高的賽事,平均收視率在40%-60%之間,今年光是NBC直播的觀看人次就高達9918萬,也就是說,每3個美國人裡,就有一個人在觀看超級碗比賽。
為了推廣 Flamin’Hot 爆辣系列零食,百事旗下休閒零食公司 Frito-Lay(菲多利)腦洞大開,聯合廣告製作公司 Untold Studios 公司製作了超級碗廣告短片《Push It》。它講述了一個有趣的故事,動物研究員在森林考察的時候,不小心掉出了兩袋未吃完的爆辣薯片,樹懶、梅花鹿、水牛、棕熊等動物們都聞味而來,對薯片伸出了慾望之爪,最終都被奇特美妙的味道征服,猶如開啟了新世界大門。廣告中,樹懶和其他動物一邊唱著音樂組合Salt-N-Pepa的《Push It》,一邊吃著火辣辣的零食。
圖20 菲多利超級碗廣告短片《Push It》片段
光鮮亮麗的視覺背後鮮為人知的是,整個《Push It》廣告是都在雲上製作的。Untold Studios公司僅花了短短6周時間,就在亞馬遜雲科技上建立了雲上工作室,讓來自全球的45個藝術家在創紀錄的短時間裡面建立7個CGI生物,讓這一群動物栩栩如生地呈現出來。這開了業界先河,為廣告製作帶來了全新模式。
在傳統的廣告製作工作模式下,這種大專案在如此短的時間內是不可能按時完成的。因為傳統的廣告工作室中,要有大量的專用軟體和高效能機器,使藝術家能夠完成渲染。藝術家也傾向於把大部分時間粘在機器上,等待渲染結果出來。這種模式的限制很明顯,即藝術家必須在現場工作。
Untold Studios另闢蹊徑。這家成立於2018年的工作室,是世界上第一家100%基於雲端計算的工作室,提供了超強的渲染和處理能力,包括視覺效果、動畫以及2D和3D設計的雲工作流。正是其創始人貫穿於整個業務的心態: 創造力和創造一種合作文化,在短短三年內由只有六個人變成了170個人,成為了一些音樂界最令人垂涎的名字的合作伙伴,還獲得了艾美獎和英國電影學院獎的提名。
Untold Studios的雲上工作室帶來了新的、令人興奮的工作方式的可能性。
一是藝術家們可隨時隨地訪問雲上工作室。藝術家不會被限制在工作室的大院裡ーー他們可以在世界任何地方工作,而且還能提高工作效率。工作室可以節省資金和技術資源,同時確保資料安全可靠。藝術家們的工作有了更多的靈活性,可以更快地迭代和建立,能更多地關注創造性方面。當新冠疫情爆發時,Untold的團隊幾乎沒有什麼變化,因為員工能夠在家工作,透過VPN遠端接入雲上工作室。
二是獲得了足夠彈性、協作和效率。當一個新業務使得工作室必須迅速擴大規模,以便按時完成一個專案時,雲工作室可以從世界各地請來藝術家,虛擬工作站允許這些藝術家遠端工作,雲提供足夠的資源。
三是利用最新的技術。Amazon EC2 G4例項為Untold Studios提供了最新的視覺計算平臺,以加快創意工作流程,減少上市時間,並提高設計質量。
圖21 Amazon G4dn例項
2. 美巡賽“每一次擊球直播”App 讓球迷做“製片人”,革命性地改變了高爾夫比賽的報導方式。
美國 PGA 巡迴賽(PGA Tour,簡稱“美巡賽”)是一項美國職業高爾夫球系列賽事的統稱,開始於1929年,走過了近一百年的征程,是世界頂級的高爾夫職業巡迴賽,每年舉辦超過130場職業賽事。在世界範圍內,美巡賽的賽事在二百多個國家和地區近10億戶家庭中播放。
圖22 PGA Tour比賽瞬間
與其它運動不同的是,高爾夫球場上不止一個球,這使得球迷很難了解每個球員的表現。以“球員錦標賽”(The Players Championship,也是PGA巡迴賽事之一,擁有全世界最頂尖的參賽陣容,被稱為“第五大滿貫”)為例,144名高爾夫球手在72個洞中投出超過32,000個球。遺憾的是,傳統電視節目平均只能播出11%的比賽。顯而易見的是,這沒法滿足專業球迷越來越高的個性化觀賽需求。
圖23 球員擊球進洞
2021年,PGA Tour 決定創新球迷觀賽方式,在這年的球員錦標賽上透過開創性的粉絲應用程式“每一次拍攝現場(Every Shot Live)”來讓球迷獲得更好的體驗。該應用程式讓球迷透過直播關注他們喜歡的任何球員,讓他們坐在製片人的位置上,對他們自己看到的內容有更多的控制權,觀看幾乎所有球員的每一次擊球,比如球飛行的軌跡、球員的動作和球員歷史的統計資料,這樣就提供給球迷類似於一種遊戲的沉浸式體驗。
在這創新觀賽方式的背後,是2021年3月 PGA 選擇亞馬遜雲科技作為巡迴賽的官方雲服務提供商,包括官方雲供應商、人工智慧雲供應商、深度學習雲供應商和機器學習雲供應商。
圖24 亞馬遜雲科技和PGA Tour合作
PGA Tours 使用亞馬遜雲科技機器學習、儲存、計算、分析、資料庫和媒體服務來快速處理和分發每場高爾夫錦標賽的影片片段,同時也為球迷提供了參與 Tours 內容的新方式。巡迴賽在每次比賽中捕捉數百小時的原始畫面,並將利用亞馬遜雲科技迅速將這些內容轉換成令人興奮的新數字體驗,為球迷提供更完整和個性化的體驗。
例如,Every Shot Live App 為觀眾提供比賽中每位選手的每個鏡頭的現場直播。球迷可以選擇實時關注任何一個球員,並在他們選擇的任何裝置上播放每一個鏡頭,允許他們透過不同的攝像角度改變他們的觀看視角,在球場周圍導航,檢視速度輪,並根據需要顯示各種資料,這給球迷提供影片遊戲般的高爾夫觀看體驗控制。
圖25 PGA Tour Every Shot Live App使用示意
PGA Tour的創新,提供了全新的球迷驅動型體驗。這對球迷來說是一個遊戲規則的改變,這對比賽報導來說也是一個遊戲規則的改變。美巡賽數字運營高階副總裁斯科特·古特曼將“Every Shot Live”描述為“高爾夫報導的未來”和“美巡賽有史以來最激動人心的技術事業之一”。來看看他們的廣告語:“每個球員。每個球洞。每次揮杆。實時。”
結尾:雲端計算的創新永無止境
筆者前文所闡述的亞馬遜雲科技四層創新體系如圖27表示。在筆者看來,亞馬遜雲科技的創新不是單一的,而是立體的;不是封閉的,而是開放的;不是以自我收益為中心的,而是以客戶成功為中心的。應該說,沒有創新,就沒有亞馬遜雲科技的誕生,就沒有云計算的今天。然而,筆者清楚明白的是,亞馬遜雲科技的創新理念、創新產品、創新歷史、創新故事遠遠不是這區區一萬文字所能表達和闡述清楚的。
圖27 亞馬遜雲科技四層創新體系
十六年來,雲端計算早已從抽象的概念走向生活的方方面面。也許,你還是說不清什麼是雲端計算,但我們早已離不開這個幕後英雄。
Amazon CTO Werner Vogels博士曾經說:“現如今,人們可以建立出具有高度可擴充套件性和可靠性的應用,比如Airbnb、Uber 或 Dropbox等等,而這在之前是不可能的。如果沒有云平臺出現,這些服務都將不復存在。”
其實,不止亞馬遜雲科技,還有更多的雲端計算參與者,像微軟雲Azure、谷歌雲GCP、阿里雲、騰訊雲、華為雲、RackSpace、OpenStack等等,都是雲端計算的歷史創造者和創新實踐者。不止雲端計算廠商,還有千千萬萬的雲端計算使用者們和從業者們。正是他們,正是你們,正是我們,一起在創造著雲端計算的歷史,一起在推動著雲端計算成長,也一起在創造著雲端計算的未來。雲端計算的征途是汪洋大海,創新無止境,雲端計算的發展永不停歇。
本篇作者
劉世民
雲端計算技術專家,曾就職於華為、IBM、海航等公司,專注於雲端計算。曾在海航集團易航科技擔任雲服務事業群總經理一職,負責 IDC、雲平臺、系統運維、資訊保安以及使用者服務等業務。維護有“世民談雲端計算”技術部落格和微信公眾號。《OpenShift雲原生架構原理與實踐》作者之一、《Ceph Cookbook中文版》《精通OpenStack》、《機器學習即服務:將Python機器學習創意快速轉變為雲端Web應用程式》譯者之一。