視覺理解 + 實時語音,打造你的多模態實時 AI 丨 TEN+ 亞馬遜雲科技開源工作坊
如何快速打造一個能聽懂你說話、理解你情緒,甚至看懂你手勢、理解你周圍影像的 AI 助手?
在這場 TEN x 亞馬遜雲科技聯合工作坊中,我們將帶你使用 TEN 框架 和 Amazon Nova 大模型 ,親手構建屬於你的 Voice Agent ,並部署在 Amazon Bedrock 平臺上。無需複雜的程式碼,TEN 框架將助你快速搭建 AI Agent,而 Amazon Nova 模型的語音和影片理解能力,則為你的 Agent 提供強健大腦。
TEN 是一個用以建立實時語音 AI Agent 的開源框架。支援語音、文字和影像的輸入與輸出,內建最佳化的實時通訊能力,以提供低延時、可打斷的互動體驗。透過內建的 STT/LLM/TTS 模組,以及外掛化開發與靈活編排,幫助開發者快速測試和迭代對話體驗,即使沒有深厚 AI 背景的開發者也能快速構建強大的實時語音 AI Agent。
Amazon Nova 是亞馬遜最新推出的基礎模型系列,包含 3 個理解模型 (Pro/Lite/Micro) 和 2 個創意模型 (Canvas/Reel),滿足不同場景需求。支援多語言處理,支援文字、影像、影片等多模態輸入,提供豐富 API 介面,可透過 Amazon Bedrock 平臺進行定製化開發。支援跨區域推理、批次處理、微調等多種部署方式,具備完善的安全防護機制。
在工作坊中,你將一步步解鎖 TEN 與 Amazon Nova Pro/Lite 的能力,一個小時學會如何從零開始構建你的 AI 助手!現場有來自 TEN Framework 與亞馬遜雲科技技術專家的答疑指導,還準備了精美茶歇與開發者禮品。期待與大家現場相會~
活動時間
2025/3/8 13:30-16:30
地點
上海前灘(具體場地稽核透過後入群通知)
活動流程
13:00 - 13:30 簽到
13:40 - 14:20 主題分享
利用 Amazon Nova 構建生成式 AI 應用——陳一品,亞馬遜雲科技解決方案架構師
TEN 開源框架及最佳實踐——Plutoless,TEN Framework 共同發起者
14:20 - 16:00 動手實操 TEN+ Amazon Nova(茶歇&禮品)
16:00 - 16:30 demo 展示&自由交流
動手實操 TEN+ Amazon Nova
我們為大家準備了幾步語音 AI Agent 挑戰,幫助大家循序漸進地瞭解、使用 TEN+ Amazon Nova。
本場使用以下相關技術:
AI Agent 框架:TEN
https://github.com/TEN-framework/TEN-Agent
大模型:Amazon Nova Pro/Lite
https://aws.amazon.com/cn/ai/generative-ai/nova/
ASR:Amazon Transcribe
https://aws.amazon.com/cn/transcribe/
TTS:Amazon Polly
https://aws.amazon.com/cn/polly/
* 本場將為大家提供免費的亞馬遜雲科技測試賬號,併為大家準備所需的各種 key。
- 階段 1
在 Amazon bedrock 上簡單幾步完成 TEN + Amazon Nova 大模型的部署,啟動 Agent 服務開始對話。
- 階段 2
體驗 Amazon Nova Pro 和 Amazon Nova Lite,修改 Prompt 和 Amazon Polly 音色等配置,切換音/影片互動、實時翻譯等互動模式,來定製自己專屬的語音 AI Agent!
- demo 展示
自行報名向大家展示你的創意、你的場景和你的 demo!
🎁 完成階段 1&2 的朋友,可以獲得由亞馬遜雲科技和 TEN 提供的開發者周邊,進行 demo 展示的朋友更有好禮相贈~
本場將為大家提供免費的亞馬遜雲科技測試賬號,併為大家準備所需的各種 key,建議報名參與者提前做好如下軟硬體配置:
知識:會用命令列、git、docker;
預裝 docker;
自備電腦一臺。
報名並稽核透過後,將會邀請大家進入工作坊專屬答疑群,搞定前序工作,現場專注探索你的實時 AI 場景!歡迎報名~
本場活動由 TEN Framework 和亞馬遜雲科技聯合主辦,亞馬遜雲科技 User Group 和 RTE 開發者社群協辦。
關於 RTE 開放者社群介紹
RTE 開發者社群是聚焦實時互動領域的開發者社群。希望透過社群連結領域內的開發者和生態力量,萌芽更多新技術、新場景,探索實時互動領域的更多可能。這裡你將遇見一群致力於改變人和人、人和世界,以及人和 AI 連線方式的開發者。官網:rtecommunity.dev
關於 UG 社群介紹
亞馬遜雲科技 User Group 開發者社群是一個為開發者們提供彼此學習、分享技術實踐、培訓進階等活動的技術交流分享社群。欲知更多資訊或活動預告,請持續關注微信公眾號【User Group】,期待熱愛前沿技術和開源技術的您加入到 User Group 大家庭。
更多 Voice Agent 學習筆記:
多模態 AI 怎麼玩?這裡有 18 個腦洞
AI 重塑宗教體驗,語音 Agent 能否成為突破點?
對話 TalktoApps 創始人:Voice AI 提高了我五倍的生產力,語音輸入是人機互動的未來
2024,語音 AI 元年;2025,Voice Agent 即將爆發丨年度報告發布
對話谷歌 Project Astra 研究主管:打造通用 AI 助理,主動影片互動和全雙工對話是未來重點
這家語音 AI 公司新融資 2700 萬美元,並預測了 2025 年語音技術趨勢
語音即入口:AI 語音互動如何重塑下一代智慧應用
Gemini 2.0 來了,這些 Voice Agent 開發者早已開始探索……
相關文章
- 大模型進入「實用」時代,亞馬遜雲科技已是Next Level大模型亞馬遜
- 亞馬遜雲科技語音識別服務Amazon Transcribe在中國區域上線實時流式轉錄亞馬遜
- 亞馬遜雲科技宣佈視覺化開發工具Amazon Amplify Studio正式可用亞馬遜視覺化
- 亞馬遜雲科技 Community Builder 申請視窗開啟亞馬遜UnityUI
- 亞馬遜雲科技潘超:雲原生無伺服器數倉最佳實踐與實時數倉架構亞馬遜伺服器架構
- 實時多模態 AI 的 N 種新可能丨實時互動和大模型專場 @RTE2024 回顧AI大模型
- 實時多模態 AI 的 N 種新可能丨實時互動和大模型專場@RTE2024回顧AI大模型
- 亞馬遜雲科技資料視覺化服務Amazon Managed Grafana正式可用亞馬遜視覺化Grafana
- 視覺多模態理解模型基礎視覺模型
- 亞馬遜雲科技攜手埃森哲、Anthropic助力企業打造負責任的AI亞馬遜AI
- 笛卡爾實驗室全面遷移至亞馬遜雲科技亞馬遜
- 亞馬遜雲科技:AI時代頂級雲基礎設施激發全棧創新聯動亞馬遜AI全棧
- 實操如何用Hugging Face部署大語言模型到亞馬遜雲科技Amazon SageMakerHugging Face模型亞馬遜
- 亞馬遜雲科技:透過主動防禦打造可信賴的雲安全保障亞馬遜
- 開源 高效能 雲原生!時序資料庫 TDengine 上線亞馬遜Marketplace資料庫亞馬遜
- 40億美元投資Anthropic 亞馬遜雲科技夯實生成式AI三層架構亞馬遜AI架構
- 通義釋出語音模型 MinMo:全雙工、多口音;MiniCPM-o :端側 GPT-4o 級視覺、語音、多模態實時流式大模型GPT視覺大模型
- HPC、AI與雲端計算:當智慧時代三叉戟在亞馬遜雲科技完美融合AI亞馬遜
- 雲棲科技評論第38期:亞馬遜推出時尚智慧助手EchoLook亞馬遜
- 亞馬遜雲科技陳曉建:生成式AI時代 技術普惠和負責任的AI至關重要亞馬遜AI
- 2022亞馬遜雲科技中國峰會召開亞馬遜
- 德勤與亞馬遜雲科技攜手建立雲上安全實驗室亞馬遜
- 數競科技Biendata全面使用亞馬遜雲科技亞馬遜
- 亞馬遜雲科技案例研究:UINO 優鍩科技亞馬遜UI
- 亞馬遜再次重構雲端計算,開創企業級生成式 AI 時代亞馬遜AI
- 亞馬遜雲科技:“雲+數+AI”助力企業數智化轉型亞馬遜AI
- 【新聞早知道】一文回顧亞馬遜雲科技在 AI 領域的高光時刻亞馬遜AI
- 依圖在實時音視訊中語音處理的挑戰丨RTC Dev Meetupdev
- 亞馬遜雲科技用生成式AI,向開發的複雜性動手了亞馬遜AI
- 實時語音互動,打造更加智慧便捷的應用
- 亞馬遜雲科技智慧湖倉架構:從上雲到實時決策的資料服務整體解決方案亞馬遜架構
- 亞馬遜雲科技推出Amazon SimSpace Weaver助力大規模空間模擬亞馬遜
- 亞馬遜雲科技助力西門子打造以生成式AI為基礎的智慧聊天機器人亞馬遜AI機器人
- 語音助手的前世今生篇之亞馬遜Alexa亞馬遜
- Comcast旗下FreeWheel正大規模採用亞馬遜雲科技服務AST亞馬遜
- TiDB Cloud 上線亞馬遜雲科技 MarketplaceTiDBCloud亞馬遜
- 亞馬遜雲科技釋出Amazon Amplify Studio亞馬遜
- 亞馬遜雲科技代聞:生成式AI時代技術架構演進的安全穩定可信賴之路亞馬遜AI架構