RTN實時音視訊傳輸網路

一、 基本概述

（一） RTN實時音視訊傳輸網路的定義

實時音視訊傳輸網路RTN(Real-time Network)，是一個全新架構的音視訊實時傳輸網路。
類似於直播的CDN網路，RTN是對音視訊的實時性又強烈要求的場景而設計的，原理上全球端到端的時延通過RTN網路可以控制在300ms以內。

（二） RTN實時音視訊傳輸網路的架構

1. 超級節點-SNode

• 支援單服務模式，單服務模式下同時支援推流和拉流，但是系統如果有普通節點則超級節點不支援拉流，支援RTN和WebRTC。

2. 普通節點-GNode

• 只支援拉流，支援RTN和WebRTC。

3. 路由節點-RNode

• 也稱為傳輸節點，只支援流轉發，不支援推拉流，支援單點平行擴容即：當一個路由節點容量不足時，可以平行增加路由節點對此節點進行容量擴容；這裡我們提到的容量一般指的是網路頻寬。

4. 管理節點-MNode

• 管理所有服務，支援動態分配推拉流的接入節點；同時管理節點支援雙機熱備。

5. 錄影服務-VRecSvr

• 支援流錄影，將單路推流錄製成標準MP4或特定格式(需配置轉碼服務)。

6. 轉流服務-VLiveSvr

• 將RTN轉成RTMP，並推向自建或第三方CDN平臺。

7. 穿透服務-VTurnSvr

• 內外網穿透服務，支援一些特殊應用場景比如說金融，銀行等需要內外網穿透。

二、 實時音視訊技術的現狀分析

（一） 支援第三方接入

1. 直播平臺

實時音視訊技術支援阿里雲，騰訊雲，網宿，百度雲等主流的直播平臺流對接；支援原有直播基礎上整合連麥功能。

實時音視訊技術，結合騰訊雲優質的節點資源，幫助開發者搭建卡頓率更低、延時1秒以內的互動直播，讓直播走進CDN 2.0 時代，打造低延時互動直播方案。

2. AI智慧

實時音視訊技術支援AI影像後處理和視訊回源。概括來講，目前AI與實時音視訊的結合點有四個：

3. 實時翻譯

實時音視訊技術支援音訊實時翻譯SDK對接，支援音訊流不限時長地極速識別和實時翻譯，即時轉化，更快更準。

可廣泛用於會議同傳、多語種直播字幕、視訊字幕翻譯等場景，支援實時返回識別結果，達到一邊輸入音訊流，一邊獲得翻譯後的文字內容。

4. 鑑黃防恐

實時音視訊技術支援影像識別功能接入及第三方對接，能精準識別涉黃、涉恐、涉政等有害內容，支援配置圖片黑名單，打擊自定義的違規型別。

識別結果還分為正常、可疑與違規三部分，建議放行正常的圖片，人工審查可疑的圖片，遮蔽違規的圖片，節省人力成本，提高稽核效率。

（二） 實時音視訊技術優勢

1. 高效快速

端到端時延是實時音視訊的黃金指標，其最低可達50ms以內，最高不超過1s，保證視訊通話端到端時延低於300ms。

實時音視訊技術還能動態檢測各個節點直接的鏈路狀態，保持高效傳輸，實現了更低的音視訊傳輸延遲，提升辦公工作效率。

2. 動態與時延可控且線路穩

實時音視訊技術可以實時動態監控線路的狀態，異常時可及時切換；還可以根據實際情況，動態調整接收端的緩衝時間。

除此之外，採用線路實時監控，保證每路轉發的流的穩定性，在使用音視訊會議辦公時，即使在弱網環境下仍然能夠保證高質量的音視訊通訊，確保視訊通話過程順暢穩定。

3. 業務擴充豐富

系統設計簡潔高效，容易業務擴充，比如與傳統CDN相容，支援連麥等複雜業務場景。

例如可適配智慧硬體車機、大屏，閃布已對接吉利招聘系統支援吉利校招，支援企業的實時音視訊會議以及私有化部署。

4. 高併發

節點支援平行擴容和樹形擴容，理論上併發沒有上限，即使面臨音視訊會議井噴式湧入、使用者使用流量暴增也能扛住壓力，避免出現卡頓、崩潰。

（三） 實時音視訊技術難點

企業在實時音視訊技術實現上通常會遇到卡頓、延時和音視訊質量差等諸多問題，而且需要耗費大量的人力、物力和資源。

技術上的難點主要有中間傳輸以及最後一公里傳輸兩大難題。

• 中間傳輸即指從路由到路由的骨幹網資料傳輸過程，這裡承載資料傳輸服務的主要有光纖以及同軸電纜等渠道。然而，就像城市道路一樣，一旦使用者增加、流量劇增，在這些資料傳輸渠道里同樣會發生資料擁塞的問題。因此，比較容易發生延時加劇、資料丟包等現象。
• 最後一公里傳輸主要指從Wi-Fi路由器或電信基站到使用者終端之間的最後一公里傳輸，如果使用者手機由於距離太遠或者同時連線的裝置太多而造成訊號質量太差的情況，實時傳輸同樣也會大受影響。

而上述問題都會造成在實時音視訊通話時延時大、卡頓、畫面模糊及聽不清楚等問題。

• 第一點是低延遲，如果要滿足流暢地進行實時互動，那麼單向的端到端的遲延大概要在400ms以下才能保證溝通流暢；
• 第二點就是流暢性，在視訊過程中頻繁卡頓,很難會有良好的互動，對使用者來說使用效能大打折扣；
• 第三點是回聲消除，回聲的產生是揚聲器播放的聲音經過環境反射被麥克風重新採集並傳輸給對方，這樣對方就會一直聽到自己的回聲，整個互動過程會非常難受；
• 第四點是國內外互通，隨著現在國內同質化產品越來越多，國內的競爭也異常激烈，產品國際化趨勢愈加明顯；
• 第五點是海量併發，這不僅僅是實時音視訊的難點，基本對於任何一款網際網路產品而言都是必須要考慮的難點。

三、 如何解決和優化技術難點

（一） 多路競爭優化

• 第一，如果實時音視訊要保證低延遲，那麼前端和後端的整個鏈條一定要做到極致的，比如前端的一些編碼演算法、流控，甚至丟幀、追幀策略等等都要做到足夠好。
  另外，不同的業務場景下，編碼器的選擇也會有所區別，從而會帶來不同的編碼延遲，因此不同的業務場景能達到的延遲程度也是不一樣的。

• 第二，就是對推拉流網路的選擇，通常的方案是讓需要實時互動的使用者通過核心語音視訊網路——像BGP這樣的優質節點來做語音視訊傳輸。
  而對於一些特定場景來說，比如互動遊戲會直播給一些圍觀使用者看，那麼這裡就需要做轉碼、轉協議、甚至混流，再通過內容分發網路去分發。

下圖為三路RTC資料流採用優化後的BBR演算法在300kBps的頻寬下進行競爭時的效能，圖中顯示當有新的資料流匯入時，通過較短時間的調整，每一路資料流會最終平分頻寬，也就能保證低延遲。

• 多路競爭-寬頻

• 多路競爭-RTT

（二） 音質優化

1. 舒適噪聲CNG

舒適噪音生成是VoIP技術中靜音抑制（silence suppression）或語音活動檢測（VAD）的一部分。語音活動檢測及舒適噪音生成是用來維持一個感受到的可接受的服務品質，同時儘可能降低傳輸成本和頻寬使用。

使用舒適噪聲去減小傳輸資料量，進而減小傳輸頻寬的要求，這是因為RTC通訊時大於50%的時間是沒有語音的，同時要讓人感覺語音通訊是持續連線的，從而達到更好的聽覺體驗。

2. 動態音質調整

預設使用OPUS音訊編解碼器，Opus是一種混合式（hybrid）的編碼器，有Skype的SILK和Xiph.org的CELT融合而成，於2012年9月，由Internet Engineering Task Force (IETF)標準化RFC 6716。
同時Opus的音質範圍很廣，從人聲到音樂都能做到很好的效果。

• Opus碼流-質量

• Opus效能

根據當前的網路的狀態以及聲音源狀態去動態的平衡音質與碼流直接的閾值。
動態的碼流通過X = (A + Q*0.75) - L * 0.25; 進行計算
X：實際的碼流
A：基準碼流 - 初始設定後不再更改
Q：音源質量 - 音源的質量越高對應的碼流越大
L：丟包率 – 丟包率越高碼流越低

（三） 視訊優化

1. 影像增強

影像的噪點和質量往往會被人們忽視，因為實際的影像質量受到很多因素影響比如：燈光亮度，攝像頭畫素，採集感測器質量等等，這就需要視訊降噪技術對影像進行去噪和增強即美顏技術。

2. 音視訊同步

在網路上傳輸多媒體資料時，由於終端對資料的處理方式，以及網路中的延時、抖動，會引起音視訊流的不同步。

由於人的視覺敏感度要低於聽覺，音視訊同步策略採用的是音訊優先，即首先保證音訊的質量，包括在傳輸演算法上，音訊的通道優先順序也要高於視訊。

3. 平滑處理(防抖)

由於使用音訊優先策略，容易造成視訊的卡頓現象，為保證視訊的流暢度，需要通過反饋機制動態調整視訊的幀率、位元速率來保持視訊的流暢度受到較低的影響。

4. 高階編碼(H265,SVC,Simulcast)

通過高階編碼的特性，可以在相同的網路環境下實現更優的音視訊通訊效果。

• H265：可以提高壓縮效率、提高魯棒性和錯誤恢復能力、減少實時的時延、減少通道獲取時間和隨機接入時延、降低複雜度等；可以實現利用1~2Mbps的傳輸速度傳送1080P（解析度1920*1080）普通高清音視訊傳送；同時支援超高清4K視訊。

• SVC：分級編碼是一種用來相容不同的終端裝置和鏈路頻寬的技術。它的特點是對碼流分層，低層碼流可以單獨解碼，高層碼流能增強視訊的質量。

• Simulcast：對於不支援SVC的編碼器來說，可以使用同播技術實現多級視訊傳輸，達到或接近SVC的效果。

四、 展望與總結

實時音視訊技術支援影像分析接入，能幫助實現智慧交通系統，識別運動中的車輛資訊，對比傳統車輛檢測系統，處理更快。

實時音視訊系統應用處於剛起步的階段，目前主要用於會議、直播等場景。隨著5G的發展，智慧裝置也會擁有低延遲、高穩定性的網路環境，一些智慧穿戴的音視訊應用和車載會議應用會迎新的發展，同時提供給了大家更多的想象空間。

五、 參考文獻

1. 《實時音視訊技術難點及解決方案》
2. 《5G時代，實時音視訊技術如何改變未來》
3. 《WebRTC-實時音視訊通訊技術介紹》
4. 《騰訊實時音視訊技術低延時的祕密》

——END——