移動網際網路的發展給人們的社交和娛樂方式帶來了很大的改變，以vlog、短視訊等為代表的新興文化樣態正受到越來越多人的青睞。同時，隨著AI智慧、美顏修圖等功能在影像視訊編輯App中的應用，促使視訊編輯效率和視訊效果得到了很大的提升，也讓視訊應用場景更加豐富。
當前剪輯產品功能多樣、素材豐富，但是開發週期較長、門檻較高。為了讓剪輯軟體更加智慧、簡單易用，提升開發者的效率，HMS Core 6為開發者提供視訊編輯服務（Video Editor Kit），提供視訊匯入、編輯、渲染、匯出、媒資管理等一站式視訊處理能力。除了支援完整的傳統視訊編輯功能，視訊編輯服務還提供了諸如專屬濾鏡、人物追蹤、一鍵染髮等豐富的AI處理能力輔助視訊創作，為使用者帶來更加暢快的創作靈感，打造更加智慧的剪輯體驗。
多樣化的智慧視訊處理能力是由一個個神經網路模型實現的，由於訓練好的模型檔案較大（單個模型大小一般為十幾甚至幾十兆），而手機等裝置ROM和RAM空間大小有限，如何以更少的終端裝置空間佔用為開發者提供更豐富的智慧化視訊處理能力，成為移動應用視訊編輯面臨的一大挑戰。
為解決以上挑戰，HMS Core視訊編輯服務選擇使用華為自研AI框架MindSpore Lite進行神經網路模型推理。MindSpore Lite是一款全場景AI推理引擎，通過統一API介面支援在端、邊、雲的不同環境快速部署，支援HarmonyOS、Android、iOS、Windows等多種作業系統，支援Ascend、GPU、CPU（x86、arm……）等多種硬體執行。除支援MindSpore訓練出的模型格式，MindSpore Lite還支援TensorFlow，TensorFlow Lite、Caffe、ONNX等第三方模型格式的轉換及推理。
MindSpore Lite為AI模型推理提供高效能和超輕量的解決方案：通過高效的核心演算法和彙編級優化，以及CPU、GPU、NPU的異構排程，可以充分發揮硬體算力，實現最小化推理時延和功耗；提供模型量化壓縮技術，採用訓練後量化（Post-Training Quantization, PTQ），無需資料集即可直接將權重資料從浮點型對映到低位元的定點資料，有效降低模型大小，助力AI模型在資源受限環境下的部署執行。
針對權重資料的量化支援固定位元量化和混合位元量化兩種形式。固定位元量化採用Bit-Packing的方式，支援1-16任意位元的權重量化，滿足使用者在不同壓縮場景下的要求，同時針對模型量化後的資料分佈情況，自動選擇合適的編碼策略進行壓縮編碼，從而達到最優的壓縮效果。
混合位元量化根據神經網路不同層對量化損失的敏感度不同的特點，採用均方誤差作為優化目標，自動搜尋出最適合當前層的位元位，在保證精度的同時實現更大的壓縮率。同時針對量化後的模型，採用有限狀態熵(Finite State Entropy, FSE)對量化後的權重資料進行熵編碼進一步壓縮，實現對模型的高效壓縮，提升模型傳輸速率和減少模型儲存空間。
除此之外，量化時還會採用Bias Correction的方式，最小化其量化誤差。Bias Correction會根據權重資料固有的統計學特性，反量化時對其進行校準，使權重值量化前後具有相同的期望和方差，能夠大幅度提高模型精度。
視訊編輯服務中的AI模型採用MindSpore Lite提供的混合位元量化方式，最終在保證精度的同時達到了平均5x+的模型壓縮效果，例如一鍵染髮的模型從原來的20.86M壓縮到3.76M，有效解決了模型過多、檔案過大導致的部署困難問題。
通過對AI模型的量化壓縮，在ROM空間佔用不變的前提下，保障剪輯產品可以部署更多的AI模型，充分發揮AI能力來提供更多的特效應用場景，使得剪輯功能更加強大、更加智慧。華為官方剪輯軟體花瓣剪輯在接入視訊編輯服務能力後，使用者可通過使用專屬濾鏡、人物追蹤等AI視訊剪輯功能（部分特性隨花瓣剪輯App升級陸續開放），讓視訊剪輯更便捷和更富有趣味性。
MindSpore Lite致力於打造高效能、超輕量級的全場景 AI引擎，除高效能核心演算法及硬體異構排程、量化壓縮之外，還提供端雲協同的一站式訓練和推理能力。HMS Core視訊編輯服務基於MindSpore Lite，助力開發者打造更加易用且智慧的剪輯工具。
欲瞭解更多資訊，歡迎訪問官網