開發者的多媒體夢工廠： AV Pipeline Kit究竟是什麼？

在新聞學中，有一個“媒介的雙螺旋”理論，是說媒介形式必然會按照簡易度和關聯度兩條線索螺旋向上升級。無論是印刷術、廣播、電視，還是今天的短視訊、直播、VR，每一種媒體形式的出現，都是為了降低使用者的獲取門檻，同時提升內容的關聯能力。按照雙螺旋理論，多媒體化的趨勢是不可逆轉的。而優秀的表達者、開發者、創業者，也必然需要多媒體的幫助。

移動應用開發者，本質上就是利用APP這種介質完成對使用者的表達和溝通。而最能夠幫助開發者提升表達效率，增強使用者體驗的技術，可能也就是多媒體技術了。

曾幾何時，圖片和文字是APP的主要載體;而今，我們很難想象一款頭部APP中缺少直播、視訊播放的多媒體互動形式。然而對於大部分開發者而言，多媒體功能的開發、部署和運維還存在大量痛點，甚至可能變成開發團隊的過量成本消耗因素與技術軟肋。

多媒體開發，本來應是充滿驚喜感、愉悅感的事情，當然不該成為開發者的瓶頸。此前我們已經介紹過，7月15日HMS Core 6.0正式上線。其中有一項重要更新，叫做華為多媒體管線服務(AV Pipeline Kit)。

當時就有朋友希望我們仔細介紹一下AV Pipeline Kit。9月16日，HMS Core AV Pipeline Kit剛剛進行了一場線上直播，多個領域的專家深度講解了AV Pipeline Kit的技術要點和應用場景。

我們今天就由此出發，看看AV Pipeline Kit究竟帶來了什麼，又是如何幫助開發者完成和簡化音視訊採集、編輯和播放等系列工作的。

AV Pipeline Kit通過一系列技術與架構設計中蘊藏的驚喜，讓多媒體的開發和管理變得簡單易用，觸手可及。

它似乎彰顯了這樣一個理念：多媒體的無限可能性，本就應該是開發者在智慧時代的夢工廠。

實時+智慧：多媒體與開發者的新約會

要說今天有哪位移動開發者沒有研究過多媒體開發，那估計是所有人都不信的。

隨著消費者“口味”的不斷提升，應用的功能整合性不斷增強，今天的APP早已不是簡單的網頁流轉邏輯。試想一下，無論是社交、旅行、電商，但凡需要使用者分享和內容分發的APP，在今天肯定都需要視訊，甚至是直播、AR功能的加入。

但相比於圖文來說，視訊、音訊為代表的多媒體開發與管理有著更高的技術門檻和開發工作量。尤其隨著短視訊、直播的普及，使用者需要的多媒體玩法也更加複雜。

整體而言，多媒體開發在今天有兩個核心發展趨勢：一是更加實時化，需要快速完成基於視訊的互動和體驗升級，滿足使用者的及時分享與獲取需要，這就需要打破傳統的多媒體分發邏輯，更加關注端側的效能和能耗;二是更加智慧，AI給多媒體帶來了影像識別、流媒體超分、語音互動、語音識別的種種可能，這些智慧觸發點極大提升了開發者的能力邊界，但也要求開發者具備更強的技術能力。

在實時化、智慧化的新時代，開發者與多媒體的約會雖然美好，但也有諸多挑戰。

比如開發難度進一步加大，開發成本更高。很多視訊+AI的開發，需要在傳統管線中加入AI處理技術，這涉及到諸多資料處理能力，對於開發者來說技術門檻很高。

再有，端側實時化的智慧視訊開發很可能遇到算力的瓶頸。雲端處理會導致效能欠佳、體驗較差，但端側算力的效能和框架優化卻無法負載，最終導致很多好的想法付諸東流。

還有一點，給APP新增多媒體功能意味著功耗開支的加大。如果多媒體缺乏優化能力，會導致APP功耗過大，容易發熱，繼而造成使用者體驗的下降。

這些痛點的存在，讓複雜、創新的多媒體開發經常成為工作量大、開發成本大的工作。甚至變成開發者不得不做，但做了之後又佔用人力算力過多，造成開發瓶頸的“雞肋”工作。

那麼是不是有什麼辦法，可以極大減少開發者在多媒體領域的工作量，並且開發綜合成本極大降低呢?

瞄準這樣的需求，華為海思團隊在2020年年底開始了系統設計和相關調研，今年年初開啟開發。在多媒體、NPU、AI演算法等相關團隊的協同努力下，最終讓整合了多種多媒體管線技術，並且能極大壓縮開發工作量的AV Pipeline Kit在7月正式釋出。

開發者的創造力與智慧時代的多媒體升級，開啟了一場新的約會。

從智慧超分到流水線編排：開啟多媒體管線的驚喜盒

從音訊到視訊，再到多媒體管線的編排管理，AV Pipeline Kit包含了一系列技術突破與全新的框架搭建思路。換句話說，它並不是一種單一的技術外掛，而是把多種新技術、新配置方案放在一起的驚喜盒。開啟它，開發者可以找到很多期待已久的禮物。

讓我們通過幾個AV Pipeline Kit關注的重點領域，說明其中到底蘊藏了哪些驚喜。

首先讓我們來到“智慧+視訊”領域中最常提到的功能：視訊超分。所謂“超分”，可以理解為在視訊播放過程中進行智慧識別與銳度優化，從而讓視訊看起來比原本更清晰、明麗。在大型影視和遊戲製作中，超分是一種非常關鍵的技術，但那有賴於雲端和伺服器。想要在端側線上場景中，幫助開發者獲得實時化、高效能的超分，就需要從AI技術到硬體資源呼叫的一系列優化。

為了幫助開發者便捷獲取真實可用的逐幀超分能力，實現超分不卡頓的體驗，AV Pipeline Kit首先在機器視覺演算法上進行了一系列技術突破。比如在AI模型結構上應用了卷積神經網路，提升了複雜真實場景的超分效果;在資料工程方面，用一系列方法還原了多媒體資料的構造過程，提升網路的優化結果;在端側模型壓縮方面，進行了新的網路小型化探索，確保超分效果可以在端側場景中被很好地執行。

在這一系列的技術突破後，AV Pipeline Kit可以為開發者帶來隨時隨地都能看清的超分效果。通過呼叫NPU提供的專項AI處理算力，AV Pipeline Kit可以實現最高三倍超分效果，將原始片源的觀看體驗極大提升。基於端側AI算力和一系列演算法優化，AV Pipeline Kit在網路不均衡的場景下，依舊可以啟動超分並達成相對一致的體驗。在給使用者帶來智慧功能的同時，還增強了實時化的流暢體驗。此外，端側超分技術的應用可以極大降低開發者的伺服器使用成本，提升開發效率。

目前，AV Pipeline Kit已經與某大型流媒體APP達成合作，使用者在網路環境較差的情況下可以依賴端側超分，觀看到流暢自然的視訊畫質。

看過了“視訊+AI”，讓我們再來看看音訊領域AV Pipeline Kit帶來的智慧加持。基於AI聲音事件檢測技術，開發者可以實現非常多前所未有的玩法。比如檢測家中寵物叫聲、檢測孩子哭聲、按門鈴聲，然後再新增相應的智慧服務。

但AI聲音事件檢測對於開發者來說是比較複雜的技術，所需的技術資源與開發經驗都很多。AV Pipeline Kit將這些功能以檔案配置的形式直接帶給開發者，並且其音訊檢測能力經過華為相關團隊的長期深耕，可以確保聲音識別的準確與穩定。

對於開發者來說，面對多媒體任務管理與配置時還有個很大的問題，就是相關的能力非常複雜，架構相對抽象。這一點讓很多開發者望而卻步，只能應用比較簡單的多媒體功能，以避免在任務管理中浪費大量時間，甚至引發相容問題。

但這種方式顯然限制了開發者的想象力。AV Pipeline Kit提出了全新的解決方案，也就是流水線編排的多媒體管線服務。AV Pipeline Kit基於全新的架構梳理，實現了將不同能力抽象成對應的外掛，便於框架進行管理。在實際開發場景中，開發者只需要簡單配置檔案，就可以實現管理多媒體管線的上下游外掛，完成複雜的管線編排。

形象地理解這種操作方式，就是將多媒體任務放在同一個“工廠”的框架下，以工業流水線的形式實現對各種任務的編排管理。而各種各樣的多媒體能力就成為了流水線上的產品。作為流水線和工廠的主人，開發者獲得了極高的易用程度，降低了多媒體開發的技術門檻。

從AI超分技術的加入，到流水線編排的實現，AV Pipeline Kit既有新的能力突破，也有原有功能的重新構築，可以說將多種開發者急需的能力納入一體，帶來多樣且統一的驚喜盒。

從巨集觀的產業價值上看，AV Pipeline Kit又給成為HMS生態開發者提供了一個新的契機與理由。

軟硬體一體，構築HMS的開發夢工廠

好萊塢被稱為電影的夢工廠，不僅是因為這裡是大片打造地，更因為好萊塢有各種各樣的產業鏈、技術、生態支撐。在這裡，電影人能找到各種所需的硬體、軟體、人才、合作伙伴。最終才能讓那些天才的想法、創造性的點子，變成大熒幕上的真實夢境。

夢工廠，從來都不是一天建造起來的，而是需要一點點累積和升級，不斷增加生態的凝聚力和吸引力。致力於打造移動生態第三極的HMS，當然希望成為一座移動開發者的夢工廠。而HMS Core就肩負著這座夢工廠的技術差異化。只有在這裡可以實現的技術可能性越來越多，真正滿足開發者需求，這個技術生態才有活力可言。

此前，我們已經介紹過HMS Core的很多組成部分。而最新的AV Pipeline Kit則構築了HMS Core 6.0時代關於AI和多媒體的巨大驚喜，也成為HMS技術生態的重要組成部分。

在AV Pipeline Kit背後，我們可以看到華為在端側的整體軟硬體佈局，不斷髮揮著協同與整合的優勢。比如為了實現這個Kit，就彙集了AI、多媒體、硬體等多個部門的協同合作，才最終讓端側AI超分這樣的新技術，與多媒體管理平臺融為一體。

再向後看，AV Pipeline Kit與更加底層的華為技術佈局保持著深度融合。目前來看，業界還沒有哪個平臺或者技術工具，能夠實現端側化、智慧化的多媒體管線服務。而AV Pipeline Kit能開創先河的原因，很大部分來自軟硬體一體化的協同優勢。

比如說，AV Pipeline Kit就和華為HiAI Foundation平臺協同，實現了晶片底層的免拷貝式介面對接，與從而節省了非常多的呼叫開銷，讓AV Pipeline Kit在華為硬體平臺上可以實現更好的開發體驗。

再向底層看，業界部署超分主要以CPU、GPU為主，但NPU可以帶來更有針對性優化，針對超分業務，NPU可以提供更高算力和更優的功耗，提供更好的端側AI計算體驗。NPU的能力直接助力AV Pipeline Kit，讓端側超分不僅可以實現，還可以向更具挑戰性的直播等場景進發。

或許可以說，很多HMS Core的組成部分，都在更深層地呼叫華為在終端側硬體、軟體、AI等技術的協同與互補優勢，往往能實現合力創造全新價值的技術支點。

這樣的價值邏輯，將從AV Pipeline Kit延伸到更多的開發者賦能技術中。開發者們都深知，有技術才有未來，有創造性才有市場。AV Pipeline Kit以及HMS生態，就是帶給他們這樣一份禮物——一個可以持續期待，永遠充滿未來的驚喜盒;一座能用“技術印表機”，把創意變成現實的夢工廠。