如何在直播中解決花屏問題？

騰訊雲加社群發表於2018-10-18

歡迎大家前往騰訊雲+社群，獲取更多騰訊海量技術實踐乾貨哦~

本文由騰訊雲視訊發表於雲+社群專欄

關注公眾號“騰訊雲視訊”，一鍵獲取技術乾貨 | 優惠活動 | 視訊方案

本是一名佛性型吃雞選手，自從被三個妹子帶著躺屍吃雞之後，便立志要成為一名吃雞高手，一大早便沉迷於各大網站的吃雞直播中，正看到決賽圈激動人心的時刻，直播花屏了？然後遊戲結束了？我的天，我是誰？我在哪？我錯過了什麼？

作為一名有強迫症的IT小哥哥，怎能讓直播花屏現象存在呢？一方面，為了自己能成為一名吃雞高手。另一方面，不能錯過每一個升職加薪的機會。就這樣開始了一段漫長的長征之路……

對於直播業務，"秒開、卡頓、時延、進房成功率"是我們經常關注的幾個指標，這些指標可以說是從"一個使用者能夠優雅地進入直播間"的角度來考量的，然而進入直播間後"使用者究竟看到的什麼內容"也是很關鍵的一環，內容上除了涉及安全的一些指標外，還可能會有內容是否有花屏、綠屏等其他異常內容，這時我們便會考慮如何衡量和發現外網的花屏情況。

本文主要針對花屏提出了一種基於CNN網路的檢測方案。

花屏檢測能力構建

無論是視訊還是直播，都是由一幀幀影象組成的，之所以會以一種動態的形式展現到我們眼前，是因為了人類的視覺暫留現象。

物體在快速運動時, 當人眼所看到的影像消失後，人眼仍能繼續保留其影像0.1-0.4秒左右的影象，這種現象被稱為視覺暫留現象。

既然如此，檢測直播中是否存在花屏，其實可以轉換為檢測直播中的幀畫面是否是花屏的畫面，即一個影象識別問題。那麼如何識別一個影象是否是花屏呢？

通常影象識別總是以特徵為基礎的，我們會先根據所設定的目標來提取相應的特徵，用於我們後面來制定策略。不過好在現在的深度學習卷積神經網路CNN將提取特徵和制定決策策略都幫我們完成了。

而使用深度學習CNN網路則繞不開資料集和模型訓練兩大塊

1.1資料集準備

困難

要使用深度學習網路，一個門檻是需要足夠的帶有標籤的資料集，否則**學習出的網路很容易過擬合，從而泛化能力不強。**說其是門檻是因為實際業務中更多情況是缺少資料集，就以現在的花屏為例，目前直播發生花屏的案例非常少，想要通過實際案例來收集足夠的花屏圖片作為訓練集顯得異常困難。因此必須探尋其他的路子來收集訓練集。

人類之所以能夠分辨出花屏，是因為人類眼睛能夠找到花屏影象的特徵，雖然這些特徵我們可能用語言都描述不出來，事實上，如果我們能用語言描述出特徵，我們也很容易將其翻譯成程式碼來找到花屏影象的特徵。

製作訓練集

機器學習其實也是通過特徵來工作的，既然如此，我們可以製作一些花屏影象出來，讓CNN網路找到它們區別於正常圖片的特徵，從而學習到花屏圖片的檢測能力。

在使用YUVviewer工具時，發現當設定錯誤的解析度來播放視訊檔案時會出現花屏情況。靈感來源於此，我們完全可以通過使用錯誤的解析度從YUV檔案中抽取幀，從而拿到花屏圖片。整體流程如下：

這裡需要了解YUV檔案的儲存格式，從而根據格式來進行抽取對應的幀：

YUV，分為三個分量，“Y”表示明亮度（Luminance或Luma），也就是灰度值；而“U”和“V” 表示的則是色度（Chrominance或Chroma），作用是描述影像色彩及飽和度，用於指定畫素的顏色。

YUV取樣樣式有一下幾種，以黑點表示取樣該畫素點的Y分量，以空心圓圈表示採用該畫素點的UV分量，一般情況下我們都使用的是YUV420格式

YUV420格式儲存方式如下所示：

按照上面儲存方式編寫程式碼來提取幀，程式碼如下：

def get_frames_from_YUV(filename, dims, numfrm, startfrm, frmstep):
    """
    從給定的YUV檔案中抽取對應的幀資料，幀資料格式仍然為YUV

    :param filename: YUV檔案路徑
    :param dims: YUV檔案的解析度
    :param numfrm: 要提取幀的數量
    :param startfrm: 從哪一幀開始提取
    :param frmstep: 抽取幀的幀間隔，即每隔幾幀抽一幀
    :return: 返回抽取幀的Y列表，U列表,V列表
    """
    filesize = os.path.getsize(filename)
    fp = open(filename, 'rb')
    blk_size = prod(dims) * 3 / 2     # 計算每幀大小
    if (startfrm+1+(numfrm-1)*frmstep)*blk_size > filesize:
        numfrm = (filesize/blk_size - 1 - startfrm)/frmstep +1
        util.log('檔案讀取越界--修改為%d'%numfrm)
    fp.seek(blk_size * startfrm, 0)   # 跳轉到指定開始幀
    Y, U, V= [],[],[]
    d00 = dims[0] / 2
    d01 = dims[1] / 2
    for i in range(numfrm):
        util.log('檔案讀取第%d幀' % i)
        Yt = zeros((dims[1], dims[0]), uint8, 'C')
        Ut = zeros((d01, d00), uint8, 'C')
        Vt = zeros((d01, d00), uint8, 'C')
        for m in range(dims[1]):
            for n in range(dims[0]):
                # print m,n
                Yt[m, n] = ord(fp.read(1))
        for m in range(d01):
            for n in range(d00):
                Ut[m, n] = ord(fp.read(1))
        for m in range(d01):
            for n in range(d00):
                Vt[m, n] = ord(fp.read(1))
        Y = Y + [Yt]
        U = U + [Ut]
        V = V + [Vt]
        fp.seek(blk_size * (frmstep - 1), 1)   # 跳出間隔幀
    fp.close()
    return (Y, U, V)
複製程式碼

這裡對解析度錯誤的多種情況也做了下研究，發現如下規律：

1）解析度正確