引
如果你也有如下問題，那麼接下來的文字會一一為你解答
- 一套資料集，如何微調不同型別的開源大模型？—— Bedrock
- 如何只有產品說明書，如何構建一個智慧問答機器人？—— Q
- 哪裡還有免費的 GPU 算力——線上 Jupyter 平臺？—— SageMaker
亞馬遜雲科技開發者社群為開發者們提供全球的開發技術資源。這裡有技術文件、開發案例、技術專欄、培訓影片、活動與競賽等。幫助中國開發者對接世界最前沿技術，觀點，和專案，並將中國優秀開發者或技術推薦給全球雲社群。如果你還沒有關注/收藏，看到這裡請一定不要匆匆劃過，點這裡讓它成為你的技術寶庫！
釋出會
亞馬遜雲科技 re:lnvent 釋出會，在 2023 年11月底於拉斯維加圓滿召開，介紹了一些雲產品的升級，以及自研晶片的升級、效能提升。當然今年的重頭戲就是 AI，此次升級了Bedrock服務提供了更多功能，並推出了企業級 AI 助手——Q)，對於 ML 研究者，升級後的 SageMaker 提供了和 Jupyter 一致的機器學習（ML）環境。
AI 雲服務
此次釋出會，我最關注的亞馬遜的 AI 服務，我發現它在這上面做了非常多的差異化功能，相較於 openAI，微軟、Google 等 AI 雲服務公司，亞馬遜雲的 AI，這些功能是獨居特色的的：
保護使用者隱私、不會用使用者的資料來訓練
支援定製化得模型資料
對 fine tunning 最佳化，不需要太多專業知識就能微調大模型
模型價格便宜，微調之後的模型成本有所提升，但依然比 GPT3 便宜。
在當前 AI 淘金潮中，亞馬遜堅持做最好的——“鏟子”
面向開發者
如何讓普通 IT 人員也能上手 AI 產品
作者我作為後端研發，天天 CURD 做業務。對於 AI 大模型，只會用用聊天機器人，用文字描述生成圖片。至於如何訓練、除錯大模型我是丈二和尚——摸不著頭腦，大家都在聊，AI 賦能產品，作為一名普通 IT 人員，當前只能“玩玩”它，至於產品賦還把握不住。當前時間點，但凡一個降低 AI 使用門檻的工具開源，那都是 10k Star 級別的熱度，例如： lang-chain, hinese-LLaMA-Alpaca, LLaMA-Factory
所以，作為普通人，是非常願意接觸 AI 的，但目前開源 AI 產品對於普通人來講，還是有非常高的使用門檻。現在就有很多雲服務商就開始做人與 AI 演算法產品之間的銜接工作。
Bedrock
Bedrock – Amazon 提供一個簡單的入口，讓大家能夠快速構建起生成式人工智慧應用程式。它的能力有這幾個方向：
- 文字生成
- 聊天機器人
- 向量搜尋
- 文字摘要
- 影像生成
Bedrock 採用了市面上優秀開源的模型，來完成如上工作。模型有：
- Jurassic-2
- Claude
- Command
- Stable Diffusion
- Llama 2
當然亞馬遜自己也研發了大模型——Titan
小試身手
我們要試用大模型，還需要申請模型許可權，其實就是勾選一下。
Chat 模型
這裡體驗了一下 LLama 2 13B, 具體使用情況如下：
文生圖
使用 SDXL 1.0 生成了一張 1024\*1024 圖片，耗時 20s 左右。
我又試用了一下 亞馬遜的 Titan Image G1 模型， 同時生成了3張 1024\*1024 圖，大概花了30+s
對了，如果一下生成多張圖片，批次下載時會壓縮成一個 zip 包再下載。但我用過後，發現這個 zip 包解不開，感覺這個壓縮有問題，如果大家也遇到了，可以點開圖片，一張張單獨下載，就好了。
關於： Amazon Bedrock Image playground，the zip of the generated image cannot be extracted
微調
相較於我們平常用的 ChatGPT3.5、4 兩代通用模型， 亞馬遜提供了可定製性、可微調，可以使用儲存在雲上語料庫、知識庫進行訓練（fine tunning)。
也就是說你可以透過使用大量的資料微調大模型，讓模型學習到新的東西，你再向模型提問時，就不需要提供冗長的上下文資訊了，這樣可以節約大量的 token，還能提高模型響應速度。
建立 Fine-tunning 任務
透過 Custom models 選擇 Fine tuning job 就能
微調任務，你只需要提交資料集即可，資料集的格式，你可參看這個文件。dataset format
這樣就建立好 微調模型任務了，然後這個模型就是為你定製的，要是用這個 微調模型，還需要額外購買時間的，這個費用也不低，如果你的用量大，微調模型的效能是能抹平這部分成本的。
價格
Bedrock pricing
Meta Llama 2
按需和批次定價
模型定製（微調）的定價：
Stability AI
相較於 GPT 系列，價格要便宜很多，因為模型大小可選，通用型不如 GPT，但提供了定製、預訓練、微調功能，提供更具價效比的模型服務。
優勢
Bedrock提供一站式的：多種開源大模型，以及配套的模型微調，dataset 預處理功能。在 Bedrock 你只需要熟悉一個模型的使用、調優、資料投餵功能，那麼你就能使用其他所有同型別模型了，如果是自己調適多個模型，那麼不同模型的 dataset 格式、調優引數都是巨大的時間成本。
在重度、商業化使用條件下，是佔有成本、速度優勢的。如果你有海量大模型使用請求，並且每次請求都要帶上長長的上下文資訊，那麼不妨試試微調大模型。
企業級 AI 助手——Q
Amazon Q 是基於 Amazon Bedrock 構建一款完全託管的生成式 AI 驅動的企業聊天助手
最近登入亞馬遜後臺時，我就發現 Q 已實裝到亞馬遜雲的控制檯了。是的，它的主要形態就是聊天助手。透過聊天的形式為你提供服務，就是 IM 客服。
藉助 Q 的能力，能夠幫助普通使用者快速瞭解亞馬遜雲服務，如果可能它還會提供對應的連結地址，大家點選就能跳轉到對應的頁面。讓一般使用者在沒有專業的亞馬遜技術售前的協助下，也能完成一些工作，這就是為 console 平臺“增效”了。
定製自己的 Q
亞馬遜雲控制檯裡的 Q，可以說是 Q 的最佳實踐。那麼接下來，我就帶大家來定製一個 IM 技術客服。
建立 應用
訪問 Amazon Q 控制檯, 建立一個應用
目前 Q 還是預覽版，沒有全球釋出，所以制定地區可用，這裡選的 弗吉尼亞。
第一步：命名
這裡使用預設值，不用改，點下一步。授權可能會耽擱點時間，等一會兒就好。
第二步：Retriever 選擇
如果不清楚就直接選擇 native retriever。
第三步：資料來源
資料來源空過，直接脫到底建立。
體驗
點選剛剛建立 Q application，進入到這個應用
空白的體驗
點選 review web experience 就進入了一個聊天室。
當前，我們還沒有上傳任何文件，也沒有配置 retriever，我們問它幾個問題試試。
它直接回覆沒有資料來源，不知道。
資料來源新增
回到我們的應用主頁面，點選 Add data source
這裡我們選擇上傳文件，點選 Upload docs
關於資料來源，我選擇了 Codis 的文件。
上傳檔案, 他是支援 markdown 檔案的，我就上傳了 tutorial_en.md, FAQ_en.md 兩個檔案。
學習後的對話
上傳文件後，我們再來問問 Q。可以看到它能根據我們提供的文件，進行回答了。
後面還跟上了資料來源，也就是它的回答依據是哪些文件。
中文
大家都看到了我一直都在使用的英文和它交流，因為目前的預覽版對中文的支援還不那麼好，我這也上傳了些中文文件，然後進行對話提問，結果如下。
還是比較期待它能完全支援中文，到時候就能賦能國內業務了。
感受
相比於其他 AI 產品，需要準備大量資料集，預訓練，引數調優，以及服務部署。
你只要投餵文件、資料給 Amazon Q ，他就能成為某方面的專家，按照你的文件回答問題，你可以說它是一個更聰明的搜尋引擎，或者智慧客服。
整個體驗下來，我覺得不懂 IT 的朋友也能上手，目前亞馬遜對它的定義是——生成式 AI 驅動的企業聊天助手。從它的易上手程度、以及智慧程度。我覺得它可以用作：
- 個人知識庫助手
- 企業知識庫搜尋入口
- 智慧客服
- 售後技術顧問
剛剛是在亞馬遜的 Web 上體驗了 Q，它當然提供了 API 供你介入自己應用內部。
響應速度
10詞/秒 左右
我在 Web 端體驗是這樣的速度。不同於 ChatGPT 一個個字得吐，Q 是生成完所有文字後一次性返給前端，所以給人感覺是有點慢。但這個輸出速度，其實和人打字速度差不多了。
價格
AI 技術顧問
就拿 AI 技術顧問為使用場景，我們把產品的使用文件，以及常見問題，以及解決方案投餵給 Q，Q 就可以按照使用者的提問，幫文件去查詢解決方案，並告訴客戶。
是的，當你提供的雲服務控制皮膚報錯時，不需要讓客戶到處去百度，xx 雲平臺報錯該怎麼辦了，這個時候，右下角彈出一個 Q ，諮詢下客戶遇到了什麼問題，就能引導客戶自行解決問題了。
相較於傳統技術支援：
- 免費版沒有技術支援
- 標準版工作日工單支援（工單還要排隊
- 專業版 工作日透過IM技術支援。
藉助 Q 可以做到7*24小時 秒級支援我們的客戶！便宜的價格可以讓 Q 下放到標準版，甚至 使用版。
對於一些專業、有一定使用門檻的產品，藉助 Q 是能夠降低產品的使用難度，特別是在試用階段，在新使用者遇到困難並立馬解決，是能提高成單率的。
增效
想象一下你需要客服，來解決售後問題，客服在客戶和技術人員之間溝通解決問題，並把這些問題記錄下來，慢慢得你積累了很多問題集——F&Q。慢慢地，客服反饋有些問題看看產品說明就能解決，但客戶就是要打電話諮詢。
這個時候，你把這些售後問題投餵到 Q 的 dataset，Q 就立馬成為一名經驗豐富的客戶，能夠幫客戶解決一些常見問題了，解決不了的再接入到人工客服了。
SageMaker
SageMaker 提供專為資料科學家和開發人員高效地準備、構建、訓練和部署高質量 ML 模型而構建的機器學習 (ML) 功能。
當團隊內的資料專家，想進一步對資料做分析時，無需把資料下載到本地，亞馬遜提供了線上 Jupyter 平臺，透過它你可以在任何終端訪問 Notebook 進行資料分析工作，一切運算都在雲端，資料透過 S3 訪問，讓你無需擔心本地磁碟，以及算力。
建立 Notebook
訪問 SageMaker，翻到 Notebook, 點選 Create notbook instance
這裡填了的不用改，只需要填一下名字就行了。
開啟 Jupyter
建立好 notebook 例項後，點選 Open Jupyter 就能到一個你熟悉的介面了
是的，這就是 亞馬遜雲提供服務的 Jupyter。你看到的 Running 狀態，就是我沒有關閉那個例項，所以，你不用了的話記得手動關閉執行時，它不會自己關，程式會一直為你儲存工作狀態，隨時銜接工作。哎，這樣就不用寫額外程式碼去儲存中間狀態了。（PS：說的就是你 Colab）
訪問 S3 資料
那麼如何訪問 S3 資料呢
透過如上程式碼，說明 SageMaker 是和 S3 打通了的。只需要配置好資料許可權，資料分析人員就能自己拿資料進行分析工作了。
SageMaker Studio
對了, 亞馬遜還推出了 SageMaker Studio 一個免費的機器學習（ML）開發環境。獨立於亞馬遜的賬號體系，目前是需要申請的，我的申請一天就過了，還是挺快的。（想白嫖的早點申請，😄）
用過 Colab，Kaggle 的同學，可以試試這個平臺。每天免費4個小時的 GPU 算力，如果你只用 CPU 的話，那麼會有8個小時執行時可供你用。
這個免費算力發放策略和 Colab 比較像啊，訪問不了Google 的同學可以試試這個。
啟動執行時之前，會讓你填手機號，我填的國內的+86手機號，是可以暢通使用的。
訪問速度
目前，我訪問 Studio 沒有網路障礙，大家放心衝。
生態
這場 AI 熱潮，亞馬遜雲不僅僅是提供了大模型給大家使用，還圍繞達模型的訓練、調優、執行提供了一整套服務。
安全
作為雲服務商，亞馬遜非常重視使用者的資料安全，並且公開承諾不會用客戶的資料去改進他們的模型，至於他們怎麼改進模型，估計是基於自己的業務。
還有生成的內容安全，由於 AI 生成模型，引數眾多，可能你都不知道訓練出來的模型，可能學到了什麼壞毛病，關於這一天，Bedrok 提供了跟蹤，以及完善的日誌功能，並切發現錯誤會幫你遮蔽內容輸出，同時也會檢查使用者的輸入，
例如：我在玩文生圖時，有幾個詞彙過於澀澀就直接告警，不給我生成圖片。
跑得快不一定贏，不跌跟頭才是成功
在國內環境下，這些功能都是必須的，它已經先一步幫我們想到了。
最後
看過釋出會，體驗過 Q 之後，個人感覺距離 AI 產品更近一步了。在當前隱私洩露嚴重，濫用個人資訊的環境下，生成式 AI 這個嬰兒在一旁嗷嗷待哺（資料投餵），還有一個雲服務商把客戶的安全、隱私放在第一位，是難能可能可貴的。
本文參與了「構」向雲端 | 亞馬遜雲科技 x 思否 2023 re:Invent 構建者徵文大賽，歡迎正在閱讀的你也加入。
授權宣告：本篇文章授權活動官方亞馬遜雲科技文章轉發、改寫權，包括不限於在 Developer Centre，知乎，自媒體平臺，第三方開發者媒體等亞馬遜雲科技官方渠道
文章來源：https://dev.amazoncloud.cn/column/article/658991b05d096603bb1...