乾貨|淺談iOS端短影片SDK技術實現

影片處理的實現流程如上圖所示，將輸入的影片內容進行裁剪、分割、複製、旋轉、濾鏡等影片過渡和特效處理，此外還支援新增字幕和貼紙，處理後的影片內容透過混合器進行混合，最後編碼輸出。

音訊處理的實現流程如上圖所示，首先需要從影片源中分離出音訊軌道，形成原生的音訊軌道，然後將新增的背景音樂的音訊軌道插入原聲的音訊軌道中，透過調整原聲和背景音樂的音量，形成原始音訊和背景音樂的混合，最後透過媒體合併將混合後的音訊軌道與處理完的影片軌道進行相關類合成。

媒體預覽的實現流程如上圖所示，將影片內容、音訊內容和背景音樂等可變內容透過自定義合成執行緒進行處理，包括資訊傳遞、過渡等，最後對處理後的視音訊透過播放器進行即時預覽。

媒體合成的實現流程如上圖所示，首先按照時間鏈讀取處理後的需要合併的多個影片內容和混音後的音訊內容，然後開始分別對影片內容和音訊內容進行合併，合併實現方式為對影片內容和音訊內容做基於ffmpeg的編碼，將編碼後的視音訊合併為整體的媒體檔案，最後對外輸出合併後mp4檔案。