前言
直播有個人直播（泛娛樂直播）和企業直播（商業&商務直播）之分；個人直播的投入成本低，一部手機便可以隨時隨地開播，且各直播App有足夠多的直播輔助工具來協助開播，對增值服務需求不高；企業直播講究規範，有專門的直播間，投入的人力物力很大，直播影響面廣泛，對專業的直播硬體，PaaS，SaaS等軟體服務以及運營指導，售後服務等多種增值服務都有明確訴求，故本次分析基於TO B的企業直播業務展開。
作者：秦宓
1.直播市場調查
背景
全世界的經濟因疫情不斷放緩，企業競爭激烈，企業開源節流，降本增效的核心訴求越來越強，而數字經濟也在快速發展，逐漸成為新的經濟增長動力；企業直播能推動企業的生產，經營等多個環節的價值提升，控制和節約成本，幫助企業傳播，觸達更多的使用者，從而加速企業的數字化轉型。
資料來源：艾瑞諮詢《2021年中國企業直播服務行業發展研究報告》
直播參與方
- C端使用者：資訊獲取，休閒娛樂，購物等；
- B端企業：培訓，會議，運營，營銷等；
- 直播服務商：直播硬體，軟體，雲服務，資料服務，營銷服務，辦公協同等。
B端企業的直播場景
從教育，金融，汽車，醫療，網際網路，傳媒，家居，地產等多個垂直行業，從幾十人的小企業到上萬人的大型企業，企業直播都在快速應用；企業直播有對內，和對外雙重需求；對內主要進行企業培訓，會議會展，企業宣傳；對外進行產品介紹，賽事直播，電商帶貨等。
B端企業對直播的訴求
相比於公有云，企業更希望融合了公有云和私有云的混合雲模式，在獲取公有云的低成本功能迭代和穩定效能的同時，保持對業務定製的能力；兼具PaaS和SaaS特性的aPaaS服務能更好地滿足企業搭建直播系統的需要（甚至是企業搭建自己的視訊中臺），aPaaS提供的低程式碼，可擴充套件，彈性伸縮的能力讓企業的直播服務可以進行更好地定製化；同時低延遲，超高清，高併發，高安全性是衡量使用者體驗的重要指標。
直播服務商的架構與生態
直播服務商提供了上游，中游，下游的一站式解決方案，同時不斷地整合CRM，HRM，協同辦公，資料服務等企業級服務，讓直播服務與其他企業級服務產生協同效應，打造以直播業務為核心的企業服務生態。
資料來源：艾瑞諮詢《2021年中國企業直播服務行業發展研究報告》
IoT定位和機會在哪？
IoT基於自身定位和技術優勢，更有可能在上游提供直播所需的CDN分發，智慧稽核，轉碼，點播等基礎能力，同時在中游聚焦智慧化直播硬體，直播PaaS（iPaaS，aPaaS），資料分析服務等方面的研發；在生態協上整合釘釘辦公服務，友盟營銷服務等來為直播服務商提供有競爭力的核心能力，先TO B再TO C，輸出有競爭力的核心軟硬體能力來為直播服務商賦能。
2. 直播相關技術
直播相關的技術涉及到基本的裝置端的推拉流以及對應協議，雲端的轉碼，稽核，水印等功能；也包含執行在裝置端和雲端的一些AI演算法能力。
直播服務流程
- 主播端：採集封裝好的音視訊直播流被推流SDK推送到直播服務中心；
- 服務端：推送的視訊流通過CDN分發節點進行加速，以此來保證上行傳輸的穩定性；
- 服務端：視訊流推送至多媒體直播中心後，可按需對視訊流進行轉碼，錄製，截圖，安全稽核等處理；
- 觀眾端：處理好的視訊流通過CDN分發節點下發至觀眾的裝置中進行播放；
- 觀眾端：直播視訊還可以在雲端錄製下來後轉至點播系統提供點播服務。
多媒體框架
FFmpeg：
- 集錄制，轉換，音/視訊編碼解碼功能於一體的完整開源解決方案；
- 支援視訊採集，視訊格式轉換，視訊抓圖，視訊加水印，將音/視訊轉化成流；
- 可將攝像頭的視訊，麥克風的音訊以指定格式（如FLV）來進行RTMP協議的推流；
- 支援協議：HTTP，RTP，RTSP，RTMP等。
核心模組：
- 讀/寫裝置資料模組：libavdevice；
- 音/視訊編解碼模組：libavcodec（codec =enCode （編碼）+ deCode（解碼））；
- 音/視訊格式打包和解包模組：libavformat；
- 播放器（用ffmpeg解析和解碼，可以用拉流播放）：ffplay。
編碼（壓縮處理，便於儲存和傳輸）格式：
- 視訊：H.262，H.264，H.265（有版權）；VP8，VP9，AV1（無版權）；
- 音訊：MP3，AAC等；
- 常用編碼器：
視訊：libx264（H.264格式），libx265，libvpx（VP8，VP9格式），libaom（AV1格式）；
音訊：aac（AAC格式）
推拉流流程：
硬體加速編解碼：
- FFmpeg通過hwaccel cuda，h264_cuvid，hevc_cuvid和h264_nvenc，hevc_nvenc模組支援硬體加速編碼和解碼（存在NVIDIA GPU情況下），硬體編解碼器能產生與軟體編解碼器相同的輸出，但可能使用更少的功率和CPU；
- 硬體編解碼用到GPU處理能力，省電，效能快，分擔CPU壓力和減少CPU發熱，由於不同硬體平臺的晶片效能和介面引數不一樣，需要硬體廠商在硬體和軟體層面做適配；軟體編解碼不用GPU，主要通過CPU進行的編解碼，耗電，效能較差，但對各個硬體平臺的相容性強；一般的直播平臺都會基於裝置的具體配置做自適應來保障直播效果。
常用直播協議
RTMP（Real Time Streaming Protocol）
- Adobe 實時訊息傳輸協議，基於TCP長連線，支援FLV格式的連續視訊流（收到資料立刻轉發）；
- 低延時（1~3S），但在iOS平臺上沒有提供原生支援RTMP的播放器；
- 預設使用1935非公共埠，易被防火牆阻攔，在iOS端需要使用第三方解碼器；
- 適合用在推流端和拉流端雙端。
HTTP-FLV（HTTP Flash Video）
- 基於HTTP長連線的RTMP，低延時（1~3S），支援HTML5；
- 將音/視訊資料封裝成FLV格式，然後通過HTTP協議傳輸；
- 結合了RTMP的低延時，以及複用現有HTTP分發資源的流式協議；
- 實時性和RTMP相等，與RTMP比省去部分協議互動時間，首屏時間更短，可擴充的功能更多；
HTTP-FLV一般用於拉流播放。
HLS（HTTP Live Streaming）
- Apple視訊直播技術，支援m3u8格式的切片視訊流；
- 在服務端收集一段時間的流媒體並切割，生成連續的ts切片檔案，並更新m3u8索引；
- 延遲性高（5~20S），基於HTTP短連線，需要不斷地與伺服器建立連線，支援HTML5；
- 由於是基於HTTP/80傳輸，能有效避免防火牆攔截；
- HLS一般用於拉流播放或者回看。
直播相關演算法
直播內容稽核（雲側）
- 由於內容量巨大，人工稽核成本高，AI稽核可以基於鑑黃，暴力，恐怖等內容進行過濾。
個性化推薦（雲側）
- 面向主動搜尋，或場景識別的個性化推薦，基於實時興趣進行相關內容推薦。
廣告營銷（雲側）
- 基於直播視訊內容，場景等進行廣告推廣，進行直播內容的商業化變現。
直播美顏（裝置側）
- 直播美顏（美白，磨皮，貼紙，濾鏡），美型（關鍵點檢測，五官調整）等；
- 裝置側演算法推理需要在滿足效果的情況下兼顧實時性要求，同時要適配不同的硬體配置。
3. 直播一體機訴求
傳統基於手機的直播存在各種各樣的問題，市面上一直有對直播一體機這樣的專業智慧裝置的訴求，用來進行直播活動的全流程功能管控和提效。
傳統直播道具存在的問題
- 手機直播發熱卡頓，直播畫面小，和粉絲互動不方便，也不能擴充到其他高階專業的直播外接裝置；
- 配齊手機，電腦，大屏同屏器，導播臺，編碼器，音控臺等裝置進行直播，協同麻煩，操作過於複雜；
- 複雜的裝置協同需要多人蔘與來進行一場直播，人力成本貴；
- 直播間裝飾，需要設計，材料，人工等額外費用，且不能一鍵隨意切換來改變直播間的背景；
- 無法同時支援多機位，多個攝像頭之間無法協同工作，實現遠/近景，產品特寫，畫中畫等效果。
直播一體機可整合功能
- 集多功能於一體：整合導播臺，編碼器，採集卡，監視器，音控臺，同屏器，提詞器於一體；
- 實時摳圖功能：一鍵可切換直播背景，免去直播間的裝修；支援圖片，PPT，視訊作為直播背景；
- 多機位可切換：全景，近景，特寫機位，可以多角度呈現直播的賣點；
- 支援多攝像頭：可以支援HDMI，USB等多路攝像頭接入；
- 支援一鍵開播：內建主流的如淘寶直播，抖音，快手，小紅書等直播平臺，可以一鍵開播；
- 多媒體介面擴充套件：可擴充套件單反，攝像機，微單，麥克風，音效卡，鍵盤滑鼠等多媒體裝置；
- 遠端OTA能力：系統，功能（包括內建App升級，新裝App等），效能等升級均可遠端OTA升級。
直播一體機軟硬體配置
硬體裝置：
- 直播一體機（安卓系統，帶CPU，GPU能力）；
- 攝像頭（支援多機位）。
輔助裝置：
- 燈光，無線麥克風，綠幕摳像布。
軟體套件：
- 整合綠幕摳圖, 直播貼片, 多路導播，畫中畫，水印，機位切換，音訊/畫質調節，提詞器等能力；
- 軟體可拆分為基礎軟體包與直播高階功能輔助包。
商業模式：
- 硬體一次性採購，軟體套件可以按年收取服務費用。
由直播一體機需求到物聯網裝置智慧化普及的進階
由於手機直播的不足帶來的直播一體機的需求，推進了以直播硬體為載體的直播一體化完整解決方案的訴求，而這還只是當前萬千行業的冰山一角。目前IoT（物理網）已經在AIoT（人工智慧物聯網）和IIoT（工業物聯網）兩個方向上飛速發展；尤其是是在AIoT領域，已經滲透到社群，園區，城市，農業，商業等眾多領域，並逐漸形成端，邊，管，雲一體化的各個細分方向的專業化解決方案。
硬體智慧化便是這些解決方案的基石，被智慧化的硬體本著資料就近消費，算力就近計算的原則，與邊緣計算，雲端計算進行協同互聯，推進了AIoT的加速普及；未來在端側， 邊緣側將會有120億的IoT裝置，1500億的嵌入式裝置，而這些都將是可以智慧化的沃土。
本調研從大家熟悉的直播業務出發，拆解直播一體機這種智慧化硬體裝置訴求和組成。這樣的智慧化硬體已經非常多了，如雲POS機，雲投屏機，電子智慧秤，AI攝像頭，Vlog互動屏，安防邊緣一體機，商業客流分析一體機，工業瑕疵檢測一體機等，會逐一對以前已有的各種裝置進行一遍智慧化的改造。
IoT的時代永遠不會到來，因為它從現在開始的每天都在不斷地到來中，未來不管是在晶片硬體，作業系統，演算法推理，資料分析，工程整合，雲端監控 & 運維等都蘊含著巨量的機會，等待大家一起挖掘。
「視訊雲技術」你最值得關注的音視訊技術公眾號，每週推送來自阿里雲一線的實踐技術文章，在這裡與音視訊領域一流工程師交流切磋。公眾號後臺回覆【技術】可加入阿里雲視訊雲產品技術交流群，和業內大咖一起探討音視訊技術，獲取更多行業最新資訊。