影片AI對話杭州雲棲：新一代影片智慧生產的探索與實踐

在今年的杭州雲棲大會AB區中庭，有一個全透明建築備受矚目，這就是雲棲資料指揮中心。在這塊大屏中的媒體中央廚房部分，正是採用了影片智慧生產方案，將多模態內容理解與雲導播和雲剪輯相結合，使原來小時級別的影片生產降至秒級。這套酷炫的解決方案背後有哪些黑科技？本文將一一為您解答。

“在這個全民影片時代，伴隨著移動互聯和智慧裝置的蓬勃發展，以及AI和影片技術的快速演進、深度結合，媒資的整個流程，正在發生著深刻的變革“ 阿里雲高階技術專家胡帆認為：“從生產製作、到管理管控、再到分發消費，媒資服務全鏈路都在向著更加智慧的方向演進。阿里雲在原有的Apsara Video之上，融入了人工智慧技術，構建了全球一體化的媒資服務，幫助企業實現智慧化媒資協同生產、資源共享和極速分發。“

媒體全流程發生深刻變革，智慧化生產勢在必行

在智慧高效方面，阿里雲構建了完整的影片AI能力和豐富的產品體系，包括稽核、識別、理解和搜尋等，將這些AI Feature完整融入到媒資服務的各環節之中，帶來了全新的智慧變革，這就是整個智慧生產方案的基石。

第一，智慧生產製作

1.智慧採集，在採集端上，如果需要UGC、PGC貢獻的媒資平臺，阿里雲的短影片SDK在影片錄製和非編制作上提供產品級能力，支援大眼、瘦臉等高階特效美顏，以及基於人臉識別和追蹤的動態貼紙拍攝效果，讓影片更多元和精美。

2.智慧剪輯，採集到的影片源，可以透過雲端和終端兩種方式剪輯，在終端，阿里雲短影片SDK支援多種混剪、濾鏡、轉場、音樂特效，並提供個性化素材；在雲端，結合雲端剪輯、多模態內容理解技術，科自動二次生產成優質內容，相比傳統影片生產，智慧生產可以將時效性提升到秒級，而且大大降低了裝置投入。

3.實時字幕，區別於傳統的人工轉化與翻譯，智慧生產可以透過ASR自動語音轉文字，並且將文字存在對應的時間線，再自動翻譯成所需語種，干預量遠低於傳統生產。這項技術除了應用於離線影片外，也適用於會議直播的實時字幕生產。

第二，智慧媒資管理

1. 內容稽核，違規內容會給企業運營帶來極大風險，智慧稽核可以透過工作流自動觸發或API提交來完成，鑑別涉及黃、反、暴、恐、政，來管控內容風險，並針對已判斷違規的內容，自建媒體黑庫，進一步提高稽核效率。

2. 提取智慧封面，自動甄選出最優的關鍵幀或片段，作為影片封面，從而更好的表達影片核心內容，吸引使用者轉化觀看。

3. 智慧編目，傳統的深度編目1個小時的影片大約需要2-4個小時才能完成，在內容爆發的網際網路時代，智慧編目可以透過影片自動分類、打標、人物識別、語音識別等技術，自動生成資料資訊，進入媒資庫，並結合NLP和詞性過濾等場景，進入後續的智慧推薦環節。整個過程靠演算法驅動，不需要人力投入。

4. 智慧雲導播，透過多模態內容理解技術，與雲導播臺結合，自動在影片中疊加人物的資訊，並對集錦進行實時準確的生產。這一方案可擺脫專業導播裝置、專業編輯軟體及專業人員的高門檻高成本，無須人工參與，實現成本百餘倍降低，並實現了多地協同。

（杭州雲棲資料指揮中心 – 影片智慧生產）

第三，智慧分發消費

在分發消費環節，基於影片DNA（唯一標記一個媒體）構建的智慧媒資搜尋引擎，能夠將最精準、最優質的內容展現給使用者，同時，影片DNA的指紋索引具有穩定性，不會隨媒體檔案格式轉換、剪輯、壓縮旋轉而產生變化，能有效識別原創影片和重複影片，避免搜尋時出現過多相同或相似的影片，影響使用者體驗。同時，影片DNA也可以應用於影片版權的保護。

除了雲棲大會資料指揮中心外，智慧生產也有幾個其他案例。

智慧生產解決方案場景案例——世界盃精彩集錦

在今年的優酷世界盃賽事直播期間，阿里雲智慧生產解決方案全網瞬時生成賽事精彩鏡頭，最快只需10秒，將生產效率提升近10倍，優酷世界盃賽事的短影片內容20%都是利用AI智慧生產。 

胡帆講到：”球星集錦的核心原理是將人物出現的時間線連線起來，自動生成人物集錦。這其中我們採用了定義人臉庫+人臉註冊的方式，為球星建立獨立的人臉庫。在此基礎上，對註冊的球星進行人臉識別和目標追蹤，同時對人物在影片中出現的時間線和幅面座標進綜合的動態分析。當然，單人臉時間線是不夠的，我們還進一步結合語音識別ASR和文字識別 OCR，實時分析解說詞和比賽場記等，獲取球員名稱、關鍵事件和比分變化等資訊。在剪輯階段，我們也使用了多段並行處理的快速剪輯模式，進一步保證了時效性。”

智慧生產解決方案場景案例——智慧運動會

今年雲棲大會也舉辦了智慧運動會。其中的雲•衝浪智慧集錦和3V3籃球賽背後，也有智慧生產的身影。

雲•衝浪智慧集錦，依託阿里影片雲的媒體處理能力，與阿里機器智慧技術實驗室的影片AI技術，透過對多場衝浪賽事的影片資料進行了快速學習，對多視角下參賽者的姿態、動作，運動軌跡進行多維度的全景分析與建模，實現對一場衝浪表演的準確認知和理解，讓影片AI能夠評判每一位參與者動作的精彩程度，獲取使用者精彩表現的時碼區間。再由智慧雲導播臺對現場畫面進行切換合流，點播服務對直播流切片的識別結果實時進行解析、降噪、歸併、切割，再透過雲剪輯的平滑處理在雲端快速合成集錦影片，為每位體驗者記錄最精彩瞬間，並支援實時的下載和轉發。

同時，在3V3籃球比賽中，透過類似技術，也有為參賽球員和整場比賽生成集錦。這個專案的負責人，也就是阿里雲影片AI高階產品經理廉亞男說：“令人興奮的是，我們在極短的時間內，克服了集錦生產時效性和質量的巨大考驗，為參與者提供了全新的體驗。這也是首次實現智慧雲導播、智慧雲剪輯與影片AI技術的完美融合，是在世界盃足球集錦後，又一次為體育行業帶來新意的成功嘗試。“

網際網路逐漸打破邊界和時差，如何構建全球一體化媒資生產管理平臺

與此同時，越來越多的企業正在開展國際化業務，網際網路正在逐漸打破邊界和時差。基於覆蓋全球的基礎設施，阿里雲新一代的媒資服務透過多區域的資料高速同步，實現國內外多中心，能隨時隨地進行協同生產和管控。同時，阿里雲CDN超過1500個的全球節點，能幫客戶快速分發媒體內容到達六大洲、70多個國家。

下圖中可以看到，國內和海外不同區域都能就近訪問媒資服務，實現快速讀寫，雖然每個區域都部署了全套的媒資服務，接入層和應用層相對獨立，但核心的媒資庫後設資料在每個區域都儲存了全量。如果是單區域的讀寫，系統保證了強一致性; 如果是跨區域，在保證分割槽容錯性和可用性的同時，能確保最終一致性。

同時，透過域名解析和請求轉移等方式，實現異地多活和故障自動遷移，確保媒 資服務的高度穩定性。為了減少資料傳輸和就近回源，媒體檔案會在各個區域內部進行儲存、處理和計算，所以每Region的後設資料為全量，但物理檔案只是區域性。

以上就是AI技術在媒資全流程的應用，以及阿里雲在新一代智慧媒資生產服務的相關探索和實踐。對以上內容感興趣的使用者，歡迎登陸阿里雲官網-視網膜系統，進行了解或申請試用

瞭解雲棲大會期間，影片雲預付費產品全線8折，CDN資源包最低6折

https://retina.aliyun.com/?spm=a2c4e.11153940.blogcont643435.18.309378c7OJrY3C

https://m.aliyun.com/markets/aliyun/apsaravideo?spm=a2c4e.11153940.blogcont643435.19.309378c7jutdGZ

原文