帶貨直播原始碼，淺談直播實現過程和技術

一，帶貨直播原始碼音影片處理的一般流程

資料採集→資料編碼→資料傳輸(流媒體伺服器) →解碼資料→播放顯示

1、 資料採集：

攝像機及拾音器收集影片及音訊資料，此時得到的為帶貨直播原始碼原始資料

涉及技術或協議：

攝像機：CCD、CMOS

拾音器：聲電轉換裝置（咪頭）、音訊放大電路

2、 資料編碼：

帶貨直播原始碼使用相關硬體或軟體對音影片原始資料進行編碼處理（數字化）及加工（如音影片混合、打包封裝等），得到可用的音影片資料

涉及技術或協議：

編碼方式：CBR、VBR 編碼格式 影片：H.265、H.264、MPEG-4等，封裝容器有TS、MKV、AVI、MP4等 音訊：G.711μ、AAC、Opus等，封裝有MP3、OGG、AAC等

3、 資料傳輸：

將編碼完成後的音影片資料進行傳輸，早期的音影片透過同軸電纜之類的線纜進行傳輸，IP網路發展後，使用IP網路優傳輸

涉及技術或協議：

傳輸協議：RTP與RTCP、RTSP、RTMP、HTTP、HLS（HTTP Live Streaming）等

控制信令：SIP和SDP、SNMP等

4、 解碼資料：

帶貨直播原始碼使用相關硬體或軟體對接收到的編碼後的音影片資料進行解碼，得到可以直接顯示的影像/聲音

涉及技術或協議：

一般對應的編碼器都會帶有相應的解碼器，也有一些第三方解碼外掛等

5、 播放顯示：

在顯示器（電視、監視屏等）或揚聲器（耳機、喇叭等）裡，顯示相應的影像畫面或聲音

涉及技術或協議：

顯示器、揚聲器、3D眼鏡等

二，常見的影片直播協議

1、RTMP(Real

Time Messaging Protocol，實時訊息傳送協議)

RTMP是Adobe Systems公司為Flash播放器和伺服器之間音訊、影片和資料傳輸開發的開放協議。它有三種變種：

1）、工作在TCP之上的明文協議，使用埠1935；

2）、RTMPT封裝在HTTP請求之中，可穿越防火牆；

3）、RTMPS類似RTMPT，但使用的是HTTPS連線；

RTMP協議是被Flash用於物件、影片、音訊的傳輸。這個協議建立在TCP協議或者輪詢HTTP協議之上。RTMP協議就像一個用來裝資料包的容器，這些資料既可以是AMF格式的資料，也可以是FLV中的視音訊資料。一個單一的連線可以透過不同的通道傳輸多路網路流，這些通道中的包都是按照固定大小的包傳輸的。

2、RTSP(Real Time Streaming Protocol，實時流傳輸協議)

RTSP定義了一對多應用程式如何有效地透過IP網路傳送多媒體資料。RTSP提供了一個可擴充套件框架，資料來源可以包括實時資料與已有的儲存的資料。該協議目的在於控制多個資料傳送連線，為選擇傳送通道如UDP、組播UDP與TCP提供途徑，併為選擇基於RTP上傳送機制提供方法。

RTSP語法和運作跟HTTP/1.1類似，但並不特別強調時間同步，所以比較能容忍網路延遲。代理伺服器的快取功能也同樣適用於RTSP，並且因為RTSP具有重新導向功能，可根據實際負載情況來切換提供服務的伺服器，以避免過大的負載集中於同一伺服器而造成延遲。

3、RTP(Real-time Transport Protocol，實時傳輸協議)

RTP是針對多媒體資料流的一種傳輸層協議，詳細說明了在網際網路上傳遞音訊和影片的標準資料包格式。RTP協議常用於流媒體系統（配合RTCP協議），視訊會議和一鍵通系統（配合H.323或SIP），使它成為IP電話產業的技術基礎。

RTP是建立在UDP協議上的，常與RTCP一起使用，其本身並沒有提供按時傳送機制或其它服務質量（QoS）保證，它依賴於低層服務去實現這一過程。

RTP 並不保證傳送或防止無序傳送，也不確定底層網路的可靠性，只管傳送，不管傳輸是否丟包，也不管接收方是否有收到包。RTP 實行有序傳送，RTP中的序列號允許接收方重組傳送方的包序列，同時序列號也能用於決定適當的包位置，如在影片解碼中，就不需要順序解碼。

4、RTCP(Real-time Transport Control Protocol，實時傳輸控制協議）

RTCP是RTP的配套協議，為RTP媒體流提供通道外的控制。RTCP和RTP一起協作將多媒體資料打包和傳送，定期在多媒體流會話參與者之間傳輸控制資料。

RTCP的主要功能是為RTP所提供的服務質量（QoS）提供反饋，收集相關媒體連線的統計資訊，例如傳輸位元組數，傳輸分組數，丟失分組數，單向和雙向網路延遲等等。帶貨直播原始碼可以利用RTCP所提供的資訊來提高服務質量，比如限制流量或改用壓縮比小的編解碼器。

宣告：本文由雲豹科技轉發自 架構師小秘圈部落格，如有侵權請聯絡作者刪除