全新 Amazon S3 Express One Zone 高效能儲存類服務,震撼釋出!

發表於2024-02-12

全新的 Amazon S3 Express One Zone 儲存類旨在提供比 S3 標準儲存類高 10 倍的效能,並支援每秒處理數十萬個請求,其個位數毫秒延遲也驚人的一致;這款產品非常適合頻繁訪問的資料和要求苛刻的應用程式。對於單個亞馬遜雲科技可用區,其中專門構建的硬體支援儲存和複製物件;允許您共同定位儲存和計算( Amazon EC2 、 Amazon ECS 和 Amazon EKS )資源,以進一步減少延遲。

亞馬遜雲科技開發者社群為開發者們提供全球的開發技術資源。這裡有技術文件、開發案例、技術專欄、培訓影片、活動與競賽等。幫助中國開發者對接世界最前沿技術,觀點,和專案,並將中國優秀開發者或技術推薦給全球雲社群。如果你還沒有關注/收藏,看到這裡請一定不要匆匆劃過,點這裡讓它成為你的技術寶庫!

Amazon S3 Express One Zone

在計算與儲存方面,Amazon S3 Express One Zone 儲存類的延遲非常低,這有助於顯著縮短資料密集型應用程式的執行時間,特別是使用數百或數千個平行計算節點處理大量資料,從而進行人工智慧/機器學習訓練、財務建模、媒體處理、實時廣告投放、高效能運算等。通常,這些應用程式保留資料的時間相對較短,但資料會在該時段頻繁訪問。

新儲存類處理物件的大小不限,但對較小的物件格外有用。這是因為對於較小的物件,首個位元組的時間與最後一個位元組的時間非常接近。在所有儲存系統中,大型物件的流式傳輸時間更長;由於傳輸過程需要下載大量資料,因此儲存延遲對讀取物件的總時間影響不大。因此,在較低的儲存延遲方面,與大型物件相比,較小的物件收到的益處頗豐。由於 S3 Express One Zone 始終保持極低的延遲,因此與 S3 標準版相比,讀取小型物件的速度增幅可達 10 倍。

Amazon S3 Express One Zone 的延遲極低,請求成本又比 S3 標準版儲存類低 50%,這表示 Spot按需計算資源的使用效率更高,最終實現全面降本。

對於選擇的單個可用區,其中包含每個 Amazon S3 Express One Zone 目錄儲存桶中,支援使用一組常用 S3 API 函式進行訪問: CreateBucketPutObjectGetPorjectListObjectsV2 等。此類儲存桶也支援一組認真選擇的 S3 功能,其中包含位元組範圍提取多部分上傳多部分複製預簽名 URL,以及適用於 S3 的 Access Analyzer。物件可直接上傳,編寫使用 CopyObject 的程式碼,或使用 S3批處理操作

要以高效和可擴充套件方式減少延遲及利用此儲存類,我們引入了一種新儲存桶型別、新身份驗證模型和儲存桶命名約定:

新儲存桶型別 — 新目錄儲存桶特定於該儲存類,支援每秒數十萬次請求。名稱空間分層,並透過類似目錄的方式儲存物件鍵名稱。路徑分隔符必須是“/”;對於為 ListObjectsV2 提供的任何字首,必須以分隔符結尾。此外,在不先對結果排序的情況下,列表操作會返回結果,因此無法執行“開始後”檢索。

新身份驗證模型 — 新 CreateSession 函式會返回會話令牌,這將為特定儲存桶授予 5 分鐘訪問許可權。對於儲存桶或儲存桶內部物件執行操作的其他 S3 API 函式,為它們發出的請求必須包含此令牌,但 CopyObject 除外,原因是需要 IAM 憑據。亞馬遜雲科技 SDK 的最新版本會自動建立會話。

儲存桶命名 — 在亞馬遜雲科技區域中,目錄儲存桶名稱必須具有唯一性,且必須按照特殊格式的字尾指定可用區 ID。若基礎儲存桶名稱是 jbarr,且該儲存桶位於可用區 use1-az5(美國東部(弗吉尼亞北部)區域的可用區 5),CreateBucket 應命名為 jbarr--use1-az5--x-s3。雖然儲存桶位於特定可用區,但也可從該區域的其他可用區進行訪問;對於從一個可用區的計算資源到相同區域內部另一個可用區的目錄儲存桶的請求,此類行為不收取任何資料傳輸費用。

Amazon S3 Express One Zone 實際執行情況

重點介紹要使用的新儲存類。命令列是需要重點介紹的內容,但也會涉及亞馬遜雲科技管理控制檯和 API 訪問。

EC2 例項在 us-east-1f 可用區執行。使用 jq ,將此值對映到可用區 ID:

$ aws ec2 describe-availability-zones --output json | \
  jq -r  '.AvailabilityZones[] | select(.ZoneName == "us-east-1f") | .ZoneId'
use1-az5

儲存桶配置 (s3express-bucket-config.json) 已建立,幷包含 ID:

{
        "Location" :
        {
                "Type" : "AvailabilityZone",
                "Name" : "use1-az5"
        },
        "Bucket":
        {
                "DataRedundancy" : "SingleAvailabilityZone",
                "Type"           : "Directory"
        }
}

在安裝亞馬遜雲科技命令列介面(Amazon CLI) 的最新版本後,也將建立目錄儲存桶:

$ aws s3api create-bucket --bucket jbarr--use1-az5--x-s3 \
  --create-bucket-configuration file://s3express-bucket-config.json \
  --region us-east-1
-------------------------------------------------------------------------------------------
|                        CreateBucket                          |
+----------+------------------------------------------------------------------------------+
|  Location|  https://jbarr--use1-az5--x-s3.s3express-use1-az5.us-east-1.amazonaws.com/   |
+----------+------------------------------------------------------------------------------+

然後,目錄儲存桶如常用作其他 CLI 命令的目標(第二個 aws 是解壓亞馬遜雲科技 CLI 的目錄):

$ aws s3 sync aws s3://jbarr--use1-az5--x-s3

在列出目錄儲存桶的內容時,StorageClass 將變為 EXPRESS_ONEZONE:

$ aws s3api list-objects-v2 --bucket jbarr--use1-az5--x-s3 --output json | \
  jq -r '.Contents[] | {Key: .Key, StorageClass: .StorageClass}'
...
{
  "Key": "install",
  "StorageClass": "EXPRESS_ONEZONE"
}
...

在單獨的選項卡中,適用於 S3 的管理控制檯會顯示通用儲存桶和目錄儲存桶:

image.png

如上所示,單擊“匯入”按鈕,將現有儲存桶的內容(或內容的字首子集)匯入目錄儲存桶。選擇源儲存桶,單擊“匯入”,然後輸入引數;這些引數將用於生成源儲存桶的庫存,並建立 S3 批處理操作作業。

image.png

作業已建立,並開始執行:

image.png

須知

以下是一些關於該 S3 儲存類的重要資訊:

區域 — 美國東部(弗吉尼亞北部)、美國西部(俄勒岡州)、亞太地區(東京)和歐洲(斯德哥爾摩)區域現已支援 Amazon S3 Express One Zone,並計劃隨時間推移擴充到其他區域。

其他亞馬遜雲科技服務 — 可同時使用 Amazon S3 Express One Zone 與其他亞馬遜雲科技服務(含 Amazon SageMaker 模型訓練Amazon AthenaAmazon EMR Amazon Glue 資料類別),從而加速機器學習和分析工作負載。此外,也可使用適用於 Amazon S3 的 Mountpoint,並以面向檔案的方式對 S3 物件進行處理。

定價— 與其他 S3 儲存類相同,定價採用“即用即付”模式。在美國東部(弗吉尼亞北部)區域,費用為 0.16 美元/GB/月,每個物件的最小計費時間為 1 小時;部分請求型別需要另行付費。對於任何請求,其中超過 512 KB 的部分,需按每 GB 費用另行付費。有關更多資訊,請訪問 Amazon S3 定價頁面。

永續性 — 在極個別情況下,如果全部或部分亞馬遜雲科技可用區丟失或損壞,One Zone 儲存類的資料也會丟失。例如,火災和水災等事件會使資料丟失。除了這些型別的事件外,One Zone 儲存類也會使用與區域儲存類相似的工程設計,避免物件受到獨立磁碟、主機和機架級別故障的影響;每個儲存類旨在提供 99.999999999% 的資料永續性。

SLA — Amazon S3 Express One Zone 旨在提供 99.95% 的可用性,其可用性 SLA 高達 99.9%;有關更多資訊,請訪問 Amazon S3 服務級別協議頁面。

這款全新的儲存類產品現已推出,立即體驗吧!

瞭解更多

Amazon S3 Express One Zone

文章來源:https://dev.amazoncloud.cn/column/article/65703ff11fc09c50f98...