課程回顧|一鍵式全智慧生產製作,設計有生命力的剪輯流程

阿里雲影片雲發表於2023-02-08

本文內容整理自 「智慧媒體生產」系列課程第一講:概念、原理和基本使用,由阿里雲影片雲媒體服務技術負責人分享智慧媒體生產的領域與定位、構架與服務層次、基本概念與技術原理,以及如何一站式開發接入影片製作業務。課程回放影片見文末。

“超影片化”時代,雲端計算打破產業原有壁壘,推動技術演進發生。媒體生產製作的雲端一體服務,為整個泛影片產業帶來新的變革,而「智慧媒體生產」就是聚焦這一領域的企業級影片製作工具

01 剪輯:核心且有生命力

智慧媒體生產在影片生產與消費過程中處於什麼位置?從全鏈路看,影片從採集開始,歷經生產製作、管理、分發和消費,而生產製作處於「製播」流程中「制」這個環節

影片生產與消費也發生了趨勢上的轉變。以生產製作為例,從只有專業人員使用專業的軟體,使用非編、轉播車工具才能進行製作,到越來越多的人可以在移動端使用一鍵美顏,在Web端使用各種剪輯工具進行內容生產。

從人工製作到AI全面參與,從專業、小眾的製作團隊,到普羅大眾,從被動接收到個性互動,在趨勢的變化過程中,網際網路和雲端計算起到了至關重要的作用。而雲上生產製作,就是智慧媒體生產服務的領域

生產製作,在影片全鏈路中的比重將會增加,主要基於兩點:一是短影片APP的興起,讓普通老百姓的美學素養有了普遍提升;二是真正優質的內容仍較少,內容的質量以及分發的效率成為各方角逐的焦點。從這兩個維度來看,智慧媒體生產服務發揮的空間也將有所提升。

智慧媒體生產解決什麼問題?

雲端計算浪潮之下,雲上生產製作演變為業務面臨的主要場景,而智慧媒體生產著力解決其中六大問題。

l 雲端剪輯製作合成。智慧媒體生產解決的第一個核心問題就是如何在雲端實現高效快速的剪輯、製作、合成匯出。

l 素材庫管理與公共素材的使用。雲上生產製作面臨著大量素材管理的問題,以及當缺少素材時,需要系統提供公共素材供使用者使用。

l 規模化剪輯製作合成。在滿足剪輯製作和素材管理的基本需求後,業務可能需要快速生產規模化影片,由於影片創作過程較為繁瑣,規模化的製作能夠極大地提高生產效率。

l 專業、高效剪輯製作合成。雲端生產製作之前,存在大量專業非編工具,非編工具有其優點,也存在一些劣勢,比如本地渲染會消耗大量資源,佔用客戶端時效,客戶需要大量等待時間才能夠得到成片,而智慧媒體生產正是解決如何在雲端專業、高效發揮作用這一問題。

l AI輔助生產製作。隨著AI在各個領域的深入,是否能夠引入AI,進一步提升生產製作效率,解決製作週期長的問題,成為智慧媒體生產關注的問題。

l 無干預的全智慧生產製作。客戶的訴求通常是很發散的,比如需要製作某種主題的影片,但是該主題對應的素材以及如何編排仍未確定,這時則存在一種高階的生產製作需求:在無干預的狀態下,由雲上生產製作系統進行一鍵式全智慧生產製作。

剪輯

剪輯是智慧媒體生產的核心。什麼是剪輯?引用世界剪輯大師沃爾特·默奇的話,剪輯是在兩個空間維度和一個時間維度對聲音和畫面做馬賽克式的拼接。剪輯實際上是一次創作的過程,既包括對時間軸的處理,也包括對影片畫面的處理、音訊的處理。

完美的剪輯需要滿足六項準則,按順序,分別是剪輯的情感,故事性,剪輯編排的節奏,視線的走向,二維特性以及三維立體的連貫性。剪輯的核心關鍵點在於何時、何處將一個畫面轉向另一個畫面。

為了更好地服務雲上生產製作的客戶,智慧媒體生產服務解構出五種能力:

第一,提供大量的素材;

第二,提供多樣化工具;

第三,能夠高效地對影片素材畫面進行解構,便於後續時間線的編排;

第四,在剪輯互動操作過程中,引入豐富的視覺和音訊效果;

第五,整體的剪輯是連貫,一氣呵成的。

基於此,設計有生命力的生產製作流程,成為影片智慧媒體服務需要考慮的重點

02 雲端一體,協同運轉

工作流程

智慧媒體生產的流程可以分為三個部分。

輸入部分的核心是內容資源庫的管理和設計,既包括豐富的來源,也擁有多樣化的檔案型別,其中包含傳統的音檢視文等媒資,也包含更泛化的後設資料、富文字和故事板等型別。

輸出的成片以及媒體內容,也可以反過來回溯到輸入部分,作為下一次創作素材的補充。

素材經過媒體預處理的環節,從視覺、聲音、文字等多個維度進行智慧分析與處理,輸出針對影片畫面和聲音的解構,用於創作者結合不同場景創作工具進行思路創作。

其中,既包括移動端的創作工具,又包括Web端的剪輯工具,還有基於雲端的模板工廠和AI輔助的規模化、批次化生產製作工具。

生產製作部分,列舉了剪輯製作的各種能力,既有簡單的剪下拼接,也有多軌的影像疊加和混音、圖文混編,疊加智慧能力的字幕、配音、集錦以及綜合製作。

影像內容消費實際上是智慧媒體生產製作的輸出渠道,既可以輸出直接用於分發的成片,可二創的素材,同時還可以輸出非影片檔案的故事板,用於線下精編進行二次加工,而消費體驗反饋又會回到智慧製作系統的AI演算法側,促進AI的自學習。

技術架構

智慧媒體生產的技術架構,從下往上看,最底側是媒體生產所依賴的媒資庫,包括音檢視文後設資料,檔案與實時流,模版,製作工程以及臨時媒資檔案,同時還包括以特徵值為主的人物、標籤、版權和鏡頭等型別。

中間是媒體生產的核心架構模組,可分成生產工具和生產製作服務兩大模組,並透過API進行橋接。生產工具方面,主要是故事板、效果編輯和播放器三個元件,底層的核心是預覽的渲染引擎。

生產製作服務方面也分為三個核心模組:最底層渲染合成的剪輯製作模組,時間線糾錯和補全的處理中心,以及用於規模化、批次化生產的模板工廠。

關於時間線,時間線既支援人工組織,也支援AI輔助組織,而AI輔助組織時間線依賴於很多原子AI演算法能力。

再往上兩個層次分別是SaaS各種服務/頁面,以及不同的生產製作場景,以上構成了智慧媒體生產的技術架構。

服務層次

智慧媒體生產的服務層次,是提供雲端一體、可分可合的PaaS雲服務和PaaS+的WebSDK。

如何理解雲端一體?雲端一體就是雲跟端在協議和頂層設計上進行一體化設計,所有云服務提供的能力都可以由端上的WebSDK提供,端側的WebSDK最終所指向呼叫的雲端服務,跟透過API呼叫是一模一樣的。

可分可合的意思是可以單獨地使用WebSDK,或者單獨地使用雲服務而不受影響

先看雲服務,雲服務的核心是透過OpenAPI提供服務,最後剪輯製作任務完成的通知靠事件通知工具來回撥。

整個OpenAPI分成四大板塊,一是剪輯製作,是最核心的板塊,包括標準剪輯,直播剪輯,以及更復雜的雲剪輯工程管理。二是媒資庫,即關於素材庫以及輸出成片的管理。三是智慧任務,在剪輯製作過程中發揮輔助的API作用。四是模板工廠,主要提供批次化、規模化降低門檻服務,而公共配置實際上是為事件通知服務的。

雲服務板塊與上面的WebSDK一脈相承。 WebSDK提供的核心場景能力有三種,分別為標準剪輯,直播剪輯和模板工廠剪輯。

標準剪輯主要涉及資源和互動兩個門類,資源即各種軌道、素材、濾鏡、轉場、特效等效果,互動即提供各種剪輯操作方面的互動模式。

直播剪輯也是如此,不同的是,直播剪輯操作的資源是直播流,互動則採用了雙播放器以及單軌剪輯模式。

模板工廠剪輯的資源跟標準剪輯相同,但是互動存在一些區別,可以根據時間線的固定部分建立模板,然後將模板中可替換的素材或者是非素材部分進行引數覆蓋。

WebSDK公共的兩大子元件,分別是時間線和剪輯播放器,時間線目前支援多軌、多素材和多種效果,按照創意思路進行編排,與傳統播放器相比,剪輯播放器除了支援List播放以及時間線效果預覽之外,還需要將素材疊加各種效果進行單影片播放。

WebSDK邏輯兼顧互動邏輯和UI,自帶CSS樣式,客戶可以透過簡單的十幾行程式碼,非常快捷地建立屬於自己的剪輯互動介面

03 技術原理與設計實現

基本概念

l 素材

素材即用於剪輯製作的原材料,擁有豐富的型別,如影片,純音訊,圖片,獨立字幕等,也可以是泛文字,或者是邏輯的設計實體。

l 時間線

時間線是智慧媒體生產最核心的概念,是音檢視文多層軌道,多個素材,多類效果,按照影片創作思路編排的過程和結果,既描述創作的過程,也描述創作的結果。

同時也是剪輯合成的依據,當把結果提交到雲端時,雲剪輯的合成服務就會按照時間線最終結果進行渲染和合成,因此,時間線是智慧媒體生產最重要的資料結構,也是影片生產製作的核心。

l 模板

模板是把時間線的素材編排規律,包括轉場/濾鏡/特效的規律,以及其他規律進行抽象,並把其中可以固定的部分進行固定化、標準化的結果。相比時間線,使用模板會更加方便、容易地進行規模化的製作。

l 雲剪輯工程

雲剪輯工程是一個更大範疇的概念,用於描述一次影片創作過程中所涉及的所有資料,一般包括基本的後設資料,比如剪輯的標題、建立時間、描述,影片創作所需要的素材,以及描述實際影片創作內容的時間線等。

l 剪輯合成任務

剪輯合成任務是指當影片創作完成之後,可將最終制作好的時間線或者模板提交合成,生成新的媒體資源。媒體資源的合成,是一個非同步的過程,剪輯合成任務則描述了任務從開始建立到最終完成的過程。

l 成片

成片是剪輯製作、合成或者匯出的目標產物。成片在這裡是一個廣義的概念,針對當次剪輯的輸出,因此,當次的成片也可以作為下次的素材進行二次創作。

l 智慧任務

在剪輯製作和合成中,可以對素材或者生成目標媒體資源的過程進行智慧處理,智慧任務則用來描述對應的智慧處理過程。

核心鏈路與設計原則

l 核心鏈路

核心鏈路包含抽象層輸入、處理和輸出三部分。

輸入和輸出與泛媒資庫有關,其中來源與目標具有一致性,如統一媒資、OSS物件和第三方URL。輸入部分增加了對直播流的支援,輸出部分則增加了對時間線交換的型別支援。

處理部分,處理的過程實際上就是剪輯、包裝、渲染與合成的非同步過程,其中最核心的物件是時間線,同時,涉及到的高階管理包括複雜的雲剪輯工程管理,素材管理以及成片管理。

此外,提效方式包括三種:模板工廠用於批次化、規模化生產影片;智慧生產模式適用於提升人工處理效率的時效性;並行剪輯用於提升長影片或者多素材場景的合成耗時。

l 設計原則

輸出部分最核心的設計原則即原始檔的輸入輸出原則

剪輯實際上是為了生產源片,因此,使用的素材也是原始檔,不管素材庫的素材輸出多少路的轉碼檔案,在剪輯合成時使用的也是素材的原始檔案,併合成目標成片的原始檔案,根據需要轉碼生成不同清晰度的輸出流。

此外,還需要設定三個引數。在沒有手動指定的情況下,引數都有預設的策略。

第一個引數關於目標成片的解析度,預設使用原檔案素材的最大寬高。舉例說明,存在三個素材,原始檔的解析度分別是三個數值,則會取這三個素材的最大寬作為輸出的寬,最大高作為輸出的高。

第二個引數關於位元速率,與上述類似,會取原始檔的最大位元速率作為目標的合成位元速率,當然也會有一個上限閾值,防止原始檔中某一素材的位元速率特別高,導致輸出的成片質量差。

最後一個引數關於格式,在沒有指定的情況下,預設採用264的編碼和MP4的封裝,以及AAC的音訊格式。

媒資庫設計

媒資庫的設計要點分別是開放性靈活性跨產品協作

開放性體現在兩個方面:第一,提供了多租戶使用者隔離的媒資庫,同時開放了大量音樂素材版權給客戶進行剪輯使用;第二,媒資庫設計為跨產品的融合,本質上也是開放性維度的體現。

在生產製作過程中,並不強侵入性地要求註冊媒資,或者使用智慧媒體服務的媒資,而是也可以使用影片點播VOD產品的媒資,以及第三方的檔案和直播流,三方檔案甚至支援S3協議。

媒資庫統一了管理範圍,以原始檔為素材,目標檔案為成片,臨時的時間線和製作工程也在管理範疇內。

此外,媒資管理是泛媒體的管理,除了傳統的音檢視文媒資之外,還包括其他通用的媒資管理,都可以納入到媒資內容素材管理中。媒資庫在影片雲層面是統一的,擁有統一的後設資料體系,並且支援自定義。

同時,儲存能力可以直接複用OSS的儲存和影片點播的儲存,媒體處理能力也跟MPS轉碼的媒體處理能力完全對應,所有可以在MPS上設定的編解碼引數,都可以在智慧媒體生產體系中完成。

時間線

時間線的設計核心是“統一”,即統一的架構和統一的協議。

統一的協議是指端跟雲使用同一套時間線協議,統一的架構是指雲跟端的行為是完全一致的,所有能夠在端上操作獲得的效果都可以透過API完成。

時間線的設計結合了專業非編和傳統EDL的特點。專業非編都是多軌的,素材和效果的設計各異,整個時間線非常複雜和專業,而傳統EDL是單軌的,定義素材但不定義效果和舞臺,時間線相對比較簡單,業界對此並沒有統一的標準。

因此,阿里雲自己定義了一套時間線協議標準,在雲和端採用一體化的可複用設計。

時間線涉及的物件有四類。第一,軌道/圖層,其中稱音訊為Track軌道,而稱影片為Layer圖層。第二,Clip,素材,素材是鋪設在軌道上進行內容編排的最小單位。第三,Effect,效果,效果既可以作用在素材上,也可以作用在軌道上。第四,Scene,舞臺,舞臺就是最終的畫布,剪輯合成的成片所擁有的畫布就是舞臺。

設計需要有取捨和平衡。 首先,效果軌道可以獨立出現,增加了一定的靈活度,其次保留了軌道的素材,原始素材僅作為引用。在專業非編中,軌道素材和原始素材是分別在時間線中多次描述的,導致使用過程比較複雜,而僅僅保留軌道上使用的素材,可以提高其易用性。

同時,按照素材型別做多軌設計,支援畫布的自動引數設定和自定義引數設定,保證了時間線的通用性和可擴充套件性。

透過時間線資料結構詳情,可以看到,時間線的第一級結構是各個軌道,按照型別分為影片、音訊、圖片、字幕和效果軌道,可進行疊加,並根據軌道內陣列的層疊順序進行渲染,每一個軌道又包含多個素材,即軌道素材,與軌道相對應。

同時,ImageTrack(圖片軌道),SubtitleTrack(字幕軌道),EffectTrack(效果軌道)都作用在視覺上,透過最簡模式,在呼叫API時統一設定成VideoTrack,並透過TrackType進行區分,大大降低了開發的工作量

ImageTrack以及圖片素材對於最終合成的成片來講,都可認為是視覺上的素材,仍然可以透過視覺軌道素材的Type區分原始素材型別,進一步減少開發量。

以下展示多軌道的前端效果,左上角是素材庫、內容庫,中間是播放器,最右側是效果的編輯區。

進一步拆解軌道素材,可列舉出8個主要屬性。MediaId和MediaURL用於描述具體對應哪個素材,是素材的標識,既支援直接引用媒資庫裡的媒資Id,也支援指定OSS地址或第三方S3地址。這兩個引數有且僅有一個不能為空。

Type是指素材片段型別。In和Out是指素材片段相對於完整素材的入、出點。需要區分TimelineIn和TimelineOut,兩者容易混淆,In和Out是指從一段完整的素材裡擷取的哪一片段,比如,整段素材是十分鐘,從第一分鐘擷取到第二分鐘,那麼In就是60s,Out就是120s。

TimelineIn和TimelineOut則用於描述素材片段相對於最終輸出成片時間線的入、出點。比如,一分鐘的素材擷取出來用於片尾創作,可能這個片尾已經到了整個時間線的第30分鐘和第31分鐘了,那麼TimelineIn是30分鐘,TimelineOut是31分鐘。

關於效果,除了基礎的文字,裁剪,貼邊或者Scale,還有特效的部分,可分成三類:VFX,是指標對整個畫面完整特效的應用;Filter濾鏡,是對色彩調和和風格化效果的呈現;Transition轉場,一般用於兩個素材接縫處。

目前,轉場、濾鏡和特效總計達到200+種,非常豐富,具體內容可參見官網:

同時,支援更細粒度地指定特效的屬性,針對特效本身指定其應用在時間線上的入、出點,當特效涉及到影片畫面時,還可以進行座標和寬高的設定。

模板工廠

模板工廠跟時間線的設計原則非常相似,也是完全雲端一致的。模板能力既可以透過Open API呼叫實現規模化的生產製作,也可以透過WebSDK或者阿里雲控制檯進行互動操作和提交。

目前,模板工廠已經支援公共模板庫和自定義模板,且自定義模板堅持普惠化,與Adobe AE生態打通,透過引入專業的AE模板,讓開發者能夠非常方便且規模化地生產製作。

相對於時間線,模板的引數簡化為兩個:一個是模板ID,另一個是關於素材的引數組合,即把時間線裡可以固定的部分進行固定化和標準化,把可變的部分做成ClipsParam,然後把結果建立成一個模板ID。

透過模板工廠,能夠很方便地降低創意門檻和使用門檻,設計師可以設計好模板,並供呼叫方呼叫,同時,模板工廠的模板本身也支援巢狀或者組合使用。

舉例說明,有一個標準的完整時間線,主要功能是在影片畫面上疊加圖片,比如logo,如果只需不停更換影片,可以把圖片整體的內容做成模板,把影片的MediaId做成模板中可變的部分,在Template Config裡傳入video,即傳入要進行模板應用的素材,就可以非常方便地實現與時間線相同的功能。

此外,還可以使用高階模板將專業製作能力進行規模化量產。高階模板完美結合Adobe設計師生態,並內建了70+官網模板,同時,支援使用Adobe AE製作影片,透過外掛匯出到模板工廠進行模板註冊,以及支援模板工廠伺服器批次生成影片,更多詳細內容可參考以下文件。

高階模板製作流程:

高階模板設計規範:

高階模板API呼叫詳解:

高階模板的效果如下,透過應用專業模板效果,可以將幾張原始的圖片素材生成最終的炫酷影片:

04 動手實操,一站式開發接入

智慧媒體生產服務最核心的是剪輯製作與合成。作為一站式開發的主鏈路,剪輯製作與合成實際上是一個非同步處理的過程,核心是提交任務,接收回撥和查詢任務狀態,獲得合成結果,共包含三個輔助子場景,媒資管理,智慧任務處理以及全域性配置。

關於剪輯合成任務的處理共有三種呼叫方式:第一種是直接呼叫OpenAPI發起任務;第二種是透過阿里雲IMS控制檯發起呼叫;第三種是在自己的業務系統中整合剪輯WebSDK發起呼叫。

以下介紹若干流程,其中前面幾個流程都是直接透過OpenAPI的方式發起剪輯合成任務,並且獲取結果。

Timeline剪輯合成

使用Timeline直接進行剪輯合成是最簡流程,透過組織引數,由客戶直接呼叫OpenAPI發起剪輯合成任務,核心引數是Timeline時間線這個欄位,同時設定合成的目標,比如寬高、位元速率,當然也可以不設定,只需設定合成目標的路徑。

雖然剪輯合成的鏈路是非同步的,但是提交作業是個同步服務,會同步返回三個核心引數。第一個是代表此次合成任務的JobId,即作業Id。第二個是提交時間線內容時建立的雲剪輯工程Id,當工程Id沒有填寫時,會自動進行建立,同步返回ProjectId。第三個欄位是預設合成的新成片的Id,提前返回給提交方。

提交方提交任務之後處於等待結果的狀態,共有三種方式接收結果:

第一種是透過回撥服務,主動接收事件通知,即在合成完成後主動向配置了回撥服務地址的客戶傳送回撥,回撥支援HTTP回撥和MNS回撥兩種,效率較高。

其他兩種方式由客戶呼叫方發起查詢。一種查詢方式透過作業ID,查詢合成任務的狀態和相關資訊;另一種方式更關心合成的媒資成片的資訊,透過MediaId直接查詢相媒資內容資訊,即GetMediaInfo。

基於效率考慮,推薦使用第一種回撥服務的方式,即主動接收傳送的回撥。客戶方發起查詢的方式,需要不停地建立輪詢的請求。

當然也可以兩種方式相結合,比如,預設以回撥服務接收,如果超過了客戶側設定的時間,也可以透過呼叫查詢服務主動獲取相關狀態。

標準模板剪輯合成

標準模板剪輯合成與使用Timeline剪輯合成非常相似,唯一不同的是提交的引數。

可以看到,提交的API服務的名字、返回的欄位、回撥的方式和查詢的方式都是一樣的,而提交的引數由Timeline變成了模板的兩個核心引數,一個是模板ID(TemplateId),另外一個是素材的覆蓋引數(ClipsParam)。使用該介面的前提是已經自定義了模板工廠的模板,或者直接使用公共模板庫中系統自帶的模板。

高階模板剪輯合成

高階模板意味著要使用Adobe After Effect製作AE模板來發起合成,核心引數與標準模板相同,但在提交高階模板合成之前,有兩個額外的步驟。

一是需要先在本地下載並安裝AE和VE Exporter外掛。

二是基於AE創作,使用VE外掛匯出模板以及相應素材,打包成包含模板工程資訊以及素材資訊的zip檔案,上傳至OSS,然後提交模板合成。

直播剪輯

直播剪輯場景的核心引數略有一些變化,因為直播剪輯的輸入源是直播流。目前我們支援針對多個直播流的直播素材進行剪輯,因此,除了指定素材本身,還需要額外指定直播流的配置。

直播剪輯有兩種模式,一種是粗剪,粗剪是TS精度的,最快時效為秒級。另一種是精剪,達到準幀精度,透過最佳化,直播剪輯的時效性可以達到20倍速。

直播剪輯可以在兩種場景下使用。一是直播結束之後,對直轉點內容進行剪輯,直轉點的內容源頭需要是阿里雲的直播流。二是在直播的進行過程中,對已直播過的內容進行快速剪輯。

同時,直播剪輯支援多個直播流的混剪,也就是說,並不限制單個直播流,而是可以把多個直播流的不同素材片段一起進行剪輯。

Web工具剪輯合成

使用Web工具進行剪輯並提交合成,共有兩種模式,一種是使用阿里雲控制檯,直接在阿里雲控制檯上進行操作。

另一種是整合WebSDK,在客戶自己的業務頁面進行剪輯與提交合成,實現剪輯流程與業務APP或業務系統更緊密的結合。標準剪輯-時間線和標準剪輯-模板,以及直播剪輯都支援在Web端進行剪輯製作和效果預覽。

當製作完成後,如果使用的是阿里雲控制檯,則可以直接在介面上提交合成,因為阿里雲控制檯理論上其實是一個SaaS,可以直接使用。

如果使用的是整合WebSDK到自己的業務介面,則可以在後端呼叫SubmitMediaProducingJob(標準剪輯)或者SubmitLiveEditingJob(直播剪輯),只不過Timeline不是人工拼成,而是直接由WebSDK生成的。

剪輯工程管理與使用工程ID提交合成

剪輯工程管理與使用工程ID提交合成更復雜一些,適用於客戶或者開發者對於剪輯工程有更深入訴求,希望對剪輯工程進行深入管理的情況,共有兩種方式:

一種方式是建立一個雲剪輯工程,並直接指定其時間線資料,透過工程ID進行合成,此方式無需傳入時間線,因為工程ID背後的時間線資料,可以從工程物件獲取,而提交之後的流程與前面流程保持一致。

另一種方式是先建立一個雲剪輯工程,然後不停更新時間線資料,最後仍然透過工程ID提交合成作業,後續流程仍然相同。

媒資庫資源註冊

媒資庫支援對OSS Object和VOD Media發起註冊,註冊之後,會生成統一的MediaId方便後續管理和剪輯製作。

實際上VOD的MediaId在後續版本中不再需要手動發起註冊,而是將智慧媒體服務與VOD進行統一MediaId抽象,也就是說可以天然地識別VOD MediaId,而無需註冊成IMS MediaId,當然,強行把VOD MediaId註冊成IMS MediaId也是可行的。

此外,媒資庫的開放性意味著媒資註冊並不一定要顯示呼叫

提交剪輯合成時,Timeline軌道里的素材可以直接傳入媒體URL,而無需事先註冊,並且支援提交合成之後將未註冊的素材自動進行註冊。MediaId統一之後,反過來也意味著,智慧媒體服務的生產工具IMS也可以看作VOD的生產製作工具,直接給VOD剪輯使用。

智慧任務處理

智慧任務處理在素材分析、剪輯與包裝階段進行智慧分析或處理。智慧任務的分析是一個耗時的過程,所以需要先提交任務,再透過作業ID進行查詢。

智慧任務,可分為兩大類,SummitASRJob和SummitAudioProduceJob,這兩個作業一般作為生產製作過程中的素材輔助資訊或素材中間資訊,任務的提交結果需要與時間線編排和製作結合起來,完成最終的創作與成品合成。

而SummitIProductionJob的輸出結果已經是封面、摘要,或者擦除logo、文字之後的影片,因此,作業結果一般可以直接作為成片輸出,並透過JobId主動查詢獲取。任務的執行方式仍然是非同步的過程,而智慧任務在生產製作中起到輔助提效的作用。

本次課程希望能夠讓大家對智慧媒體生產有基本的概念,更多的樣例和實踐可參見官網文件:

更多完整內容詳見課程回放 ⬇️
智慧媒體生產第一課課程影片

相關文章