亞馬遜雲科技用生成式AI，向開發的複雜性動手了
机器之心發表於2024-12-06
生成式 AI、分散式擴充套件功能全面進化，還降價了。
今天凌晨，雲端計算巨頭亞馬遜雲科技的 re:Invent 與大號創業公司 OpenAI 的釋出「撞了車」。後者公佈了一系列生成式 AI 應用，價格更貴、效能更強大，而前者則致力於簡化生產力矛盾，降低價格。不約而同的是，他們的發力點都在生成式 AI 等新技術的應用上。正如亞馬遜副總裁兼 CTO Werner Vogels 博士在演講時所說的，想要做好基礎設施，問題的核心是「複雜性」。「Complexity」這個單詞，在他整場演講中出現了近 70 次。在《Lessons in Simplexity》（繁簡之道）中，Werner Vogels 將自己在亞馬遜 20 年構建底層架構的經驗濃縮為六條金句，句句有關人們如何面對日益複雜的技術系統。臺上的 PPT 每一次翻頁，都讓臺下的觀眾默契地舉起手機。Lesson 1 - Make evolvability a requirementEvolvability is a prediction for managing complexity 將可演化性作為一項要求，可演化性是應對複雜性的一種預判
Lesson 2 - Break complexity into piecesDisaggregate into building blocks with high-cohesion and well-defined APIs 將複雜性拆解成多個部分，分解為內聚性高且有明確定義 API 的構建模組
Lesson 3 - Align organization to architectureBuild small teams, challenge the status quo, and encourage ownership 讓組織與架構相匹配，組建小團隊，挑戰現狀並鼓勵主人翁意識
Lesson 4 - Organize into CellsIn a complex system you must reduce the scope of impact
Lesson 5 - Design predictable systemsReduce the impact of uncertainty
Lesson 6 - Automate ComplexityAutomate everything that doesn’t require high judgement 使複雜性自動化，將不需要高度判斷力的一切事務自動化
化繁為簡，正是亞馬遜雲科技希望幫助千行百業使用者做到的事情。這幾天的大會上，亞馬遜雲科技概述了一系列圍繞雲端計算、雲資料庫的創新。如何讓開發者和使用者感受到「簡單了」？答案是進化。亞馬遜雲科技還詳細介紹了其整體戰略，並概述了向量資料庫是如何對生成式 AI 提供加持的。除了一系列創新，還有降價措施，包括 Amazon DynamoDB 的按需定價降低了 50%。簡單點，再簡單點。這幾乎是當下所以企業使用者引入生成式 AI 技術時的共同訴求。在今年的 re:invent 2024 釋出內容中，這一原則體現的淋漓盡致。最近一段時間，智慧體（AI Agents）是生成式 AI 領域的重要發展方向，一系列應用快速落地。先有 Anthropic 基於最新的基礎大模型 Claude 3.5 Sonnet 提出了可以操縱 PC 的智慧體功能，緊接著榮耀展示了基於新一代作業系統 MagicOS 9.0 的全域性智慧體。在生產力端，微軟也在 10 月推出了多種 Copilot 智慧體，包攬了銷售、服務、財務、供應鏈團隊的任務。其實在企業開發環境中，AI 智慧體的引入也早已開始。去年在 re:Invent 大會上，亞馬遜雲科技預覽了生成式 AI 助手 Amazon Q Developer，它可用於跨整合開發環境（IDE）的設計、構建、測試、部署和維護，其中就有一系列 AI 智慧體的能力。比如，Amazon Q Developer 可以自動分析程式碼庫、生成轉換計劃並執行轉換任務，包括升級和替換 NuGet 包和 API、重寫已棄用和低效的程式碼元件，以及移植到跨平臺 .NET 等等。今年 4 月， Amazon Q Developer 全面上市，並增加了更多功能，例如支援 AWS 命令列介面（AWS CLI）、Amazon SageMaker Studio、AWS CloudShell 以及內聯的對話功能，以便開發者在 IDE 中進行無縫編碼操作。Amazon Q Developer 的一大價值在於，各個領域的專家透過自然語言互動就能構建準確、生產質量的模型，即使他們不具備生成式 AI 開發方面的專業知識。任何團隊都能夠更快地創新並縮短上市時間，同時減輕了對技術專家的依賴，或者說，原本儲備的技術專家可以專注於更復雜的技術挑戰。現在，Amazon Q Developer 的智慧體功能有了更多的擴充套件，包括：1）增強程式碼庫中的文件 (/doc)，2）支援程式碼審查以檢測和解決程式碼質量問題 (/review)，3）在 IDE 或 GitLab Duo with Amazon Q（預覽版）上自動生成單元測試、提高整個軟體開發生命週期的測試覆蓋率（/test）的功能。新版 Amazon Q Developer 強化了用於 .NET、大型機和 VMware 等工作負載的轉換功能。亞馬遜雲科技還宣佈在 Amazon Q Developer 中推出了幫助調查和修復運營問題的新功能預覽版。Amazon Q Developer 正在改變傳統的開發工作流程，讓開發環境中整合各種生成式 AI 功能。這種無縫整合有助於人們保持專注，同時加速除程式碼之外的各種開發任務，從而提高生產力。Amazon Q Developer 還把智慧體帶入到了 GitLab，將其轉變為支援 AI 驅動的 DevSecOps 統一開發體驗，能利用 AI 智慧體來協助複雜的多步驟任務，並提供增強的程式碼審查和單元測試功能。亞馬遜雲科技表示，透過 GitLab 快速操作與 Amazon Q Developer 的互動非常簡單：直接在問題描述、一般評論或合併請求評論中輸入 /q，開發者即可呼叫 AI 能力來幫助處理日常任務和複雜的工作流程。從一系列新能力中，我們可以看到，亞馬遜雲科技對於 AI 智慧體能力的應用有別於微軟、Anthropic 等提出的方案，前者更多基於自身的微服務，更加面向具體的工作目標。可以說，亞馬遜雲科技長久以來基於真實工程任務的經驗塑造了其生成式 AI 工具的可用性。這種面向生產的技術能夠幫助開發者們更快地部署新能力、簡化工作流程、管理狀態，並在專門的智慧體之間動態分配任務。這些 AI 能力想必會很快獲得大規模應用，畢竟在生產環境中，實用性說了算。生成式 AI 技術的確抬高了技術系統處理複雜任務的能力，但與此同時帶來的系統複雜度提升，也成為了一座難以跨越的大山。對於各家所有云服務和資料平臺提供商來說，這個問題更加值得深入思考——因為它們的客戶分佈於千行百業，需求各不相同。在這一次有關於生成式 AI 的釋出中，亞馬遜雲科技化零為整，將所有的資料管理、AI 開發、分析能力打包裝進了下一代 Amazon SageMaker。Amazon SageMaker 誕生至今已有數年，最初是它只是一項用於開發和部署機器學習模型的託管服務。但在隨後的幾年裡，這項服務一直在沿著 AI 技術的演化穩步進行現代化改造。如果說前幾年亞馬遜雲科技始終專注於大幅擴充套件 Amazon SageMaker 的功能，那麼今年，「精簡」是新的目標。它是所資料、分析、和 AI 需求的中心，包含全新發布的 SageMaker Unified Studio 以及 SageMaker Lakehouse，整合資料目錄與治理，支援資料來源的無縫對接，將資料分析、資料治理以及 AI/AL 整合於一體。全新發布的 Amazon SageMaker Unified Studio 就像是一個「全家桶」，既有積累多年的機器學習開發功能，又加入了之前分散的資料管理和應用程式開發服務，幾乎涵蓋了資料探索、準備和整合、大資料處理、快速 SQL 分析、機器學習 (ML) 模型開發和訓練以及生成式 AI 應用程式開發所需的所有元件。基於新版本的 Amazon SageMaker HyperPod，使用者只需幾分鐘即可開始訓練和微調這些基礎模型並獲得最先進的效能，包括 Llama 3.1 405B。當然，Amazon SageMaker Unified Studio 也內建了 Amazon Q Developer，用來提供輔助。必要的時候，開發者可以直接使用自然語言提問，比如「我應該使用哪些資料來更好地瞭解產品銷售情況？」或「生成 SQL 以按產品類別計算總收入」。除了 Amazon SageMaker Unified Studio 之外，亞馬遜雲科技還推出了 Amazon SageMaker Catalog 和 Amazon SageMaker Lakehouse。前者允許管理員使用具有精細控制的單一許可權模型定義和實施 Amazon SageMaker 中 AI 應用程式、模型、工具和資料的訪問策略，後者提供了從 Amazon SageMaker 和其他工具到儲存在 AWS 資料湖、資料倉儲和企業應用程式中的資料的連線。這種轉變的決心來源於亞馬遜雲科技對客戶需求變化的洞察。生成式 AI 技術的爆發直接改變了資料團隊和開發團隊的合作方式，逐漸走向無縫協作的境界，目前的顯著挑戰在於資料孤立且分散在各個系統中，他們必須構建和維護複雜的資料管道，而且由於訪問控制不一致，團隊難以有效地訪問和使用資料。這也是為什麼亞馬遜雲科技在迭代時，選擇將資料、分析和 AI 整合到同一個介面中的原因。通常來說，生成式 AI 開發中混合的模型型別和資料型別越多，就越能豐富分析輸出、豐富業務工作流程。而 Amazon SageMaker Unified Studio 在整合上邁出的這一步，減少了使用者用於管理多方面資料和多方面分析的工具和平臺數量，帶來了技術系統複雜性的大大降低。在部署和呼叫生成式 AI 的過程中，開發人員和企業使用者會遇到很多難題，尤其在資料層面，要全方位考慮資料儲存、資料庫建設與遷移等不斷演化的事實以及隨之而來，對技術和功能的更高要求。正如 Werner Vogels 在會上所言，「軟體系統必須要具備輕鬆適應未來變化的能力」。面對資料層面日新月異的變化，亞馬遜雲科技從一開始便要在基礎架構的可演化性層面下足功夫。針對資料儲存，亞馬遜雲科技早在 2006 年就推出 Amazon S3（Simple Storage Service）雲服務，成為其高度可擴充套件、持久、安全且低成本的多型別資料儲存基礎設施。此後，Amazon S3 在功能演化的同時注重做減法。新推出的 Amazon S3 Tables 功能支援 Apache Iceberg 格式的雲端儲存，相較通用 S3 儲存桶提供了 3 倍的查詢效能、10 倍的每秒事務數（TPS），並能自動管理表維護任務。如今 Amazon S3 微服務數量已經達到了 300+ 個，透過微服務架構將整個應用拆解為多個獨立、功能明確的子服務，與 S3 的互動被大幅簡化，相應的資料儲存在獨立的 S3 儲存桶中，有助於資料隔絕管理，還能輕鬆擴充套件儲存容量、確保高可用性和資料永續性。可以看到，Amazon S3 的演化歷程呼應了 Werner Vogels 所說的將複雜性分解成小的構建模組、組織成單元形式並在複雜系統中縮小影響範圍等經驗，既精簡了流程，也降低了使用者的使用門檻。不僅如此，亞馬遜雲科技還進一步更新 Amazon S3 的一項預設行為，自動驗證使用者資料是否透過網路從應用程式正確傳輸到 S3 儲存桶中。並且 S3 可以在資料到達伺服器時計算並校驗資料完整性，主動監控資料的冗餘性，減少併發故障的出現。資料庫是每個應用程式的基礎構建塊，客戶要依靠它們來搞定自身最關鍵的工作負載。為了更高效支援使用者在 Amazon EC2（Elastic Compute Cloud）上執行資料庫，亞馬遜雲科技推出 Amazon Aurora DSQL（分散式 SQL 資料庫）、Amazon DynamoDB NoSQL 全域性表、Amazon MemoryDB 多區域功能，進一步保障需要跨多區域執行的最苛刻工作負載。與其他流行的分散式 SQL 資料庫相比，Amazon Aurora DSQL 能幫助使用者構建具有最高可用性、強一致性、相容 PostgreSQL 且讀寫速度提升 4 倍的應用程式，進而實現進階版的系統分解、低耦合 / 高內聚、定義明確的 API 以及細粒度控制、獨立擴充套件和定製化安全。Amazon DynamoDB 全域性表支援多區域強一致性，確保使用者的應用程式始終在全域性表的任何區域讀取最新資料，消除了跨多個區域管理一致性的繁重工作，並且無需更改任何應用程式程式碼。Amazon MemoryDB 多區域功能則可以進一步幫助使用者構建 99.999% 高可用性、全球分佈的應用程式，並實現微秒級讀取和個位數毫秒級跨區域延遲。最後，亞馬遜雲科技在 Amazon S3 檔案傳輸和資料庫遷移服務兩個方面也竭力為使用者減負。其中透過 Transfer Family Web 應用程式，使用者可以建立一個完全託管的 Web 應用程式，輕鬆地列出、上傳、下載、複製和刪除特定 Amazon S3 中的資料。DMS（Database Migration Service）的 Schema Conversion 現在可以使用生成式 AI 來自動執行耗時的資料庫架構轉換，自動化率達到 90%，無疑會大大減少手動工作量。可以預見，亞馬遜雲科技透過持續功能上的加法、使用者部署上的減法，讓人們得到了在資料儲存和資料庫層面的最優選擇，質優、價低、上手易，贏得更多青睞也是理所當然。如今，生成式 AI 已經進入到了比拼落地能力的關鍵階段，對於眾多應用開發者來說，關注點不僅僅是模型強不強，更關注好不好用、用不用得起。相關基礎設施和配套服務的完善程度很大程度上將決定使用者的選擇。這幾天的 re:Invent 大會，無時無刻不在釋放這樣一種訊號：亞馬遜雲科技不僅要在大模型的能力上對標甚至超越 OpenAI、谷歌、Anthropic，更要踐行使用者為上的理念。「為使用者創造價值」說來簡單，但拆解開來，將是一場漫長的變革：不斷將產品和服務的複雜性降到最低，透過功能創新、AI 自動化流程來簡化一切客戶體驗。一旦我們習慣瞭如此簡單、強大的技術系統，就很難再想象沒有它的日子。2024 年行將結束的當口，終於有一家公司把生成式 AI 與生產力切實結合到了一起。不得不說，亞馬遜雲科技為生成式 AI 的落地，吹響了加速的號角。