2021年3月14日,作為第一個釋出的服務,Amazon S3 服務15週歲啦!在中國文化裡,15歲是個臨界點,是從“舞勺之年”到“舞象之年”的過渡。相信對於 Amazon S3 和其他的雲服務15週歲也將是其迎接更加美好未來的全新起點。
亞馬遜雲科技開發者社群為開發者們提供全球的開發技術資源,這裡有技術文件、開發案例、技術專欄、培訓影片、活動與競賽等。幫助中國開發者對接世界最前沿技術,觀點,和專案,並將中國優秀開發者或技術推薦給全球雲社群。如果你還沒有關注/收藏,看到這裡請一定不要匆匆劃過,點這裡讓它成為你的技術寶庫!
亞馬遜雲科技的誕生
2005年左右,在西雅圖國會山街區的 McMenamins Six Arms 酒吧裡,時任亞馬遜雲科技高階技術專家的 Allan Vermeulen 一邊喝著 Hammerhead 艾爾啤酒,一邊在餐巾紙背面勾勒出一項關鍵雲端計算服務的最初設計原則——提供無限制的、按需付費的資料儲存。
其實,亞馬遜雲科技早在幾年前就已意識到:擴充套件計算能力、為軟體開發者提供基於網際網路的服務是其優勢所在。
為了解決成長中的痛點,亞馬遜將可靠的、具有成本效益的資料中心建設和資料庫管理等服務過程集中起來,這樣亞馬遜的團隊就可以專注於產品設計,為亞馬遜官網吸引更多的消費者。同時,亞馬遜也首次涉足數字基礎架構服務的營銷。
2003年開始,亞馬遜把後來的亞馬遜雲科技的各個部分整合在一起。
2004年,亞馬遜雲科技釋出了一些產品的測試版本,這些產品後來構成了亞馬遜雲科技的基礎。
亞馬遜在當時還做出了一個重要決定,將產品資料的重度使用者聚集到當時位於貝肯山的太平洋醫療中心的公司總部。而後,亞馬遜雲科技繼續朝著受全球軟體開發者大軍歡迎的方向邁進。
於是2006年3月14日,亞馬遜雲科技推出了首款雲端計算服務款大眾市場產品——Amazon Simple Storage Service,即 Amazon S3。對許多亞馬遜人來說,這一天標誌著亞馬遜雲科技的誕生。
Amazon S3
亞馬遜技術長 Werner Vogels 表示,
“S3 是以 Vermeulen 在餐巾紙背面勾畫的藍圖為指導,在華盛頓州會展中心租用的房間裡的頭腦風暴會議上進行了精簡,以及太平洋醫療中心裡許多個“漫長的黑夜”的反覆設計。經過這些不懈的努力,S3 支援開發人員在任何時間從網路上的任何地方儲存和檢索“任何數量的資料。”
兩個月之後,儲存在 S3 上物件 (請把它們想象成檔案)的數量就已經超過了亞馬遜開發人員預期的100倍。目前,S3 上儲存了超過100萬億個物件,從天氣預報和基因組研究,到廣告和麵部識別等,這些海量資料見證了這些領域的進步。
今天,S3 也還在繼續收到更多功能的需求。亞馬遜雲科技繼續分析、審查和改進 S3 實施的每個部分,以提高效能、規模和可靠性。這意味著,隨著時間的推移,S3 希望能無需更改 API,也無需停機即可進行升級,這將使得 S3 立於不敗之地。舉一個簡單的例子,亞馬遜雲科技最近建立了一種方法來顯著減少對 S3 提出的0.01%的PUT請求的延遲,雖然看著是一個小的進步,但卻是一個重大的勝利:首先,它避免了客戶請求超時和重試的情況;其次它使得開發人員可以進一步減少延遲。
亞馬遜雲科技做了很多後來被證明是正確的決定,使得開發人員在幾分鐘內輕鬆理解和開始使用 S3。這一切都開始於一個簡單的概念模型 - 儲存桶:唯一命名的,可以容納任意數量的物件,每個物件都由字串鍵標識。最初的API也是同樣簡單,比如說建立一個儲存桶,列出所有儲存桶,放置一個物件,獲取一個物件,或者放置一個訪問控制列表,等等。
這些簡單特性為快速響應客戶的反饋和不斷髮展 S3 提供了很好的基礎。而且這些決定,現在仍然是先進,第一天編寫的程式碼仍然在今天執行著。
S3 使用了成本跟蹤模型。在遵循成本的情況下,無論開發人員用 S3 完成什麼任務,首先是要滿足需求,然後是儘可能降低成本,這樣也可以降低成本。按照成本跟蹤模型,不斷降低 S3 每 GB/月的價格,並引入了儲存類別的概念,從而使得開發者可以用更少的費用來儲存不常使用的資料(比如說 S3 Glacier 和 S3 GDA);或者是那些在需要時,可以被重建的資料(比如說S3不頻繁訪問區域)。並且還引入了 S3 Intelligent-Tiering,用來監視訪問模式,並將物件自動移動到適當儲存層的功能。
這些功能為開發人員輕鬆訪問任意大小資料的能力,以及獲得簡單的報價模型,就變得非常重要。
正如《紐約時報》撰文人約翰·馬爾科夫(John Markoff)在S3推出不久後說到:
亞馬遜最近推出的 S3 線上儲存服務,每月每千兆位元組是15美分。這使程式設計師在 Internet 上構建新的應用程式或服務的時候,不必建立昂貴資料儲存系統。
2006年網際網路正在“進入樂高時代”。這預示著雲端計算曙光的來臨,它從根本上改變了依賴計算機的企業的經濟效益。據 Vogels 估算,早期的網際網路創業者可能要將70%的時間和精力用於建設資料中心、設計和維護基本的基礎架構軟體上,而員工只有30%的精力用於開發新產品。亞馬遜雲科技顛覆了這一比例。客戶只需要一個電子郵件地址和一張信用卡,就可以獲得資料儲存、計算能力和資料庫服務。在亞馬遜雲科技的支援下,像 Lyft 和 Airbnb 這樣基於應用的創業公司大量湧現。
亞馬遜在雲端計算領域的先發優勢讓競爭對手望塵莫及。根據市場研究公司 Canalys 提供的資料:亞馬遜佔據主導地位,按收入計算,亞馬遜佔據31%的市場份額,而微軟為20%,谷歌為7%。Vogels 說,“亞馬遜是IT界的樂高。”“我們製造了體積非常小的積木。因此,開發人員可以將很多塊積木堆疊在一起。”
耐用性是一早就開始設計的。早在2010年S3就旨在提供“ 11個9”(99.999999999%)的耐用性。
亞馬遜雲科技知道硬體,軟體和網路故障一直在發生,亞馬遜雲科技構建了 S3 就透明地合適地處理這些事件。比如說,S3 會自動使用多個儲存陣列,機架,單元和可用區。同樣,對安全性也有著堅定的承諾,一直以來都將其視為“基本工作”。亞馬遜雲科技以後也會繼續完善和改進一系列安全選項和功能,這些功能可用於保護儲存在 S3 中的資料。
在啟動 S3 的幾天後,工具,應用程式和站點開始出現。正如所期望的那樣,有很多新的需求是完全出乎意料的,如今也很高興看到開發人員都提出了新的需求。15年後的今天,S3 繼續賦予開發人員權力和靈感,讓他們專注於創新!
對S3的一些補充
基礎知識–Versioning, Event Notifications, Select, Access Points, S3 on Outposts, and Strong Consistency.
儲存類– S3 Glacier, S3 Standard-Infrequent Access, S3 Intelligent-Tiering, and S3 Glacier Deep Archive.
儲存管理–Cross-Region Replication, Same-Region Replication, Replication Time Control, Replication to Multiple Destination, Lifecycle Policies, Object Tagging, Storage Class Analysis, Inventory, CloudWatch Metrics, and Batch Operations.
安全性–Block Public Access, Access Analyzer, Macie, GuardDuty, Object Ownership, and PrivateLink.
資料移動–Import/Export, Snowmobile, Snowball, and Snowcone.
多年來,亞馬遜雲科技在全球各地建立並管理超大規模資料中心,用 Vermeulen 在2014年的一次採訪中的描述來形容就是,這些資料中心有“一排排伺服器”延伸到遠方。但 Vogels 表示,亞馬遜雲科技的未來在於本地服務。亞馬遜已經推出了一套硬體,旨在使亞馬遜雲科技走入使用者的家庭和辦公室——實現基於5G網路的超快移動應用——並進入資料收集的現場。
從第一個儲存類服務 S3 到如今涵蓋計算、資料庫、物聯網、遷移、機器學習與人工智慧等眾多方面的 400種例項;從美國到遍及25個地理區域的80個可用區、245個國家和區域;從創立到獲得了全球數百萬客戶的支援與信賴……15年來,亞馬遜雲科技為眾多企業和開發技術人員堅實地提供可信賴的雲服務支援,並且不斷前進,持續提供創新服務與產品,努力用創新和技術賦能客戶,幫助他們在商業社會中,不斷擴充自己的發展空間,茁壯成長!