從今以後，所有淘寶天貓商家都能一鍵圖生影片了

机器之心發表於2025-01-13
這兩年，大模型作為前沿技術，正逐步深入電商行業的各個環節。

2025，這一變革仍在加速：近日，【淘寶星辰 · 圖生影片】工具已重磅上線，並對淘寶天貓商家正式開放！

體驗地址：https://agi.taobao.com/

（目前僅對淘寶天貓商家開放，普通使用者請耐心等待~）從今以後，所有淘寶天貓商家都能一鍵圖生影片了
一、淘寶星辰：懂你，更懂電商！

【淘寶星辰】是由阿里媽媽基於自研的淘寶星辰影片生成大模型推出的影片AIGC工具。依靠先進的自研大模型、海量的電商資料、豐富的設計語言和業內領先的營銷經驗，【淘寶星辰 · 圖生影片】工具在電商影片生成中展現出以下核心優勢：

  • 更懂商品的展示手法：基於豐富的電商資料和設計經驗，自動識別並應用最適合不同類別商品的展示手法。從產品細節的精準呈現到整體風格的統一協調，確保每一件商品都能以最佳方式展示。
  • 更強的多語種語義遵循能力：深度理解參考圖片和多語種指令（中/英），精準捕捉文字指令中的關鍵動作資訊，確保生成影片與使用者意圖高度契合。
  • 合理的物理和動作規律：嚴格遵循物理規律和動作規範，確保畫面流暢自然，避免出現不符合現實的畫面效果，提升影片的真實感和專業度。
  • 穩定的人物、商品和裝飾保持：無論是人臉、商品、還是文字、貼紙等裝飾元素，始終保持清晰、完整、無抖動或變形，提升視覺一致性。

二、淘寶星辰影片生成大模型


在主流AIGC背景下，影片生成早已不是單純的生成演算法最佳化和應用，而是一個更加複雜的、系統性的演算法工程，其中人、資料、模型、算力是最核心的四個因素。

在2024年3月，我們基於Unet Diffusion Model路線研發並上線了阿瞳木動效影片，實現了影片AIGC在電商場景的首次應用落地，在業內產生了一定的傳播度和影響力。但是，由於技術路線、資料等多個因素的限制，阿瞳木動效影片在畫面穩定性、內容可控性、目標與動作豐富性等關鍵要素上，仍然存在較大的進步空間。

從去年3月至今，我們在影片AIGC方向上堅定地持續投入。透過演算法、資料、工程等眾多團隊的密切協作，我們完成了面向生成任務的資料飛輪、自研3D VAE、自研淘寶星辰影片生成大模型（包括Tbstar-T2V、Tbstar-I2V、Tbstar-V2V等）等多個關鍵模組和模型從0到1的建設。目前，Tbstar-I2V大模型已經應用於【淘寶星辰 · 圖生影片】工具中，為使用者提供更懂電商的圖生影片功能。
圖片
淘寶星辰影片生成大模型

三、更懂電商的圖生影片

3.1 操作便捷


僅需輸入一張靜態圖片，淘寶星辰可根據對圖片的理解直接生成影片，也可遵循使用者輸入的文字描述生成影片，一鍵生成高質量的5秒影片。
圖片
【淘寶星辰 · 圖生影片】工具

3.2 更懂商品的展示手法


以更懂電商的方式展示服飾和非服飾商品，尤其是對模特動作的流暢性和專業性提升顯著。

圖片圖片
prompt：一個模特臉上帶著酷酷的表情展示衣服
圖片圖片
prompt：模特拿著咖啡，走向鏡頭，展示衣服
圖片圖片
prompt：懸浮的氣泡和水滴飄動
圖片圖片
prompt：商品不動，植物隨風搖動，雲霧移動

3.3 更強的多語種語義遵循能力

深度理解參考圖片，支援中英輸入，精準捕捉文字指令中的關鍵動作資訊，確保生成影片與使用者意圖高度契合。

圖片圖片
prompt：模特拿手機擋著臉，對鏡自拍展示衣服從今以後，所有淘寶天貓商家都能一鍵圖生影片了
prompt：男生把手搭在女生肩膀上，兩人靠在一起

3.4 專業的光影效果

根據參考圖片和使用者，推理光線變化，生成電影質感的光影效果。從今以後，所有淘寶天貓商家都能一鍵圖生影片了 prompt：一個女人的臉部特寫，創造出柔和的陰影和高光 從今以後，所有淘寶天貓商家都能一鍵圖生影片了
prompt：光線緩慢移動，創造出動態的陰影,背景保持不變，突出了人物面部和裝飾的微妙變化

3.5 穩定的人物、商品和裝飾保持


尤其針對電商圖片中常見的文字、貼紙等裝飾元素，始終保持清晰、完整、無抖動或變形，提升視覺一致性。

圖片圖片
prompt：一個女模特對著鏡頭展示衣服
圖片圖片
prompt：鏡頭後退，女模特走向鏡頭，展示衣服

四、高品質低成本的原生化應用


結合解說影片、模版影片等後期剪輯類工具，實現高品質、原生化電商影片的低成本智造，應用至主流電商場景，以及泛娛樂場景。

應用1：商品主圖影片供給


單張商品主圖一鍵生成主圖影片。

圖片圖片
單張主圖 vs 主圖影片

應用2：賣點吸睛影片


根據多張模特圖分別生成影片片段，採用模版影片方式製作商品短影片，新增轉場、特效和文字，快速生成吸睛的產品展示影片。
圖片從今以後，所有淘寶天貓商家都能一鍵圖生影片了

應用3：服飾一體化解決方案


“模特圖”或“平鋪圖”+虛擬模特，都能輕鬆生成多樣化服飾影片。

圖片

圖片
圖片

圖片

圖片
圖片
不同SKU平鋪圖 | 虛擬模特穿搭圖 | 多SKU服飾影片

應用4：虛擬試穿影片


根據使用者虛擬試穿圖片一鍵生成虛擬試穿影片，模擬服飾的真實上身效果。
圖片
使用者虛擬試穿圖從今以後，所有淘寶天貓商家都能一鍵圖生影片了
使用者虛擬試穿影片

應用5：UGC場景影片化


UGC圖片一鍵轉為影片，提升影片供給，例如評價、買家秀、逛逛等。

圖片
圖片
圖片


應用6：泛娛樂場景


AIGC時代可以不活但不能沒活兒~
圖片
prompt：超級英雄和恐龍在沙灘上慢慢散步，背景是城市的天際線從今以後，所有淘寶天貓商家都能一鍵圖生影片了

相關文章