非極大值抑制NMS

轉自：NMS——非極大值抑制
這篇文章說的不是很清楚，NMS的過程是這樣的(出自：非極大抑制（Non-maximum suppression）)：

先假設有6個矩形框，根據分類器類別分類概率做排序，從小到大分別屬於車輛的概率分別為A、B、C、D、E、F。
(1)從最大概率矩形框F開始，分別判斷A~E與F的重疊度IOU是否大於某個設定的閾值;
(2)假設B、D與F的重疊度超過閾值，那麼就扔掉B、D；並標記第一個矩形框F，是我們保留下來的。
(3)從剩下的矩形框A、C、E中，選擇概率最大的E，然後判斷E與A、C的重疊度，重疊度大於一定的閾值，那麼就扔掉；並標記E是我們保留下來的第二個矩形框。
就這樣一直重複，找到所有被保留下來的矩形框。

NMS（non maximum suppression），中文名非極大值抑制，在很多計算機視覺任務中都有廣泛應用，如：邊緣檢測、目標檢測等。

這裡主要以人臉檢測中的應用為例，來說明NMS，並給出Matlab和C++示例程式。
NMS改進：一行程式碼改進NMS

人臉檢測的一些概念

（1） 絕大部分人臉檢測器的核心是分類器，即給定一個尺寸固定圖片，分類器判斷是或者不是人臉；

（2）將分類器進化為檢測器的關鍵是：在原始影象上從多個尺度產生視窗，並resize到固定尺寸，然後送給分類器做判斷。最常用的方法是滑動視窗。

以下圖為例，由於滑動視窗，同一個人可能有好幾個框(每一個框都帶有一個分類器得分)

而我們的目標是一個人只保留一個最優的框：

於是我們就要用到非極大值抑制，來抑制那些冗餘的框： 抑制的過程是一個迭代-遍歷-消除的過程。

（1）將所有框的得分排序，選中最高分及其對應的框：

（2）遍歷其餘的框，如果和當前最高分框的重疊面積(IOU)大於一定閾值，我們就將框刪除。

（3）從未處理的框中繼續選一個得分最高的，重複上述過程。

下面給出MATLAB下的快速NMS程式碼，並帶有詳細的註釋：

%% NMS:non maximum suppression
function pick = nms(boxes,threshold,type)
% boxes: m x 5,表示有m個框，5列分別是[x1 y1 x2 y2 score]
% threshold: IOU閾值
% type：IOU閾值的定義型別

    % 輸入為空，則直接返回
    if isempty(boxes)
      pick = [];
      return;
    end

    % 依次取出左上角和右下角座標以及分類器得分(置信度)
    x1 = boxes(:,1);
    y1 = boxes(:,2);
    x2 = boxes(:,3);
    y2 = boxes(:,4);
    s = boxes(:,5);

    % 計算每一個框的面積
    area = (x2-x1+1) .* (y2-y1+1);

    %將得分升序排列
    [vals, I] = sort(s);

    %初始化
    pick = s*0;
    counter = 1;

    % 迴圈直至所有框處理完成
    while ~isempty(I)
        last = length(I); %當前剩餘框的數量
        i = I(last);%選中最後一個，即得分最高的框
        pick(counter) = i;
        counter = counter + 1;  

        %計算相交面積
        xx1 = max(x1(i), x1(I(1:last-1)));
        yy1 = max(y1(i), y1(I(1:last-1)));
        xx2 = min(x2(i), x2(I(1:last-1)));
        yy2 = min(y2(i), y2(I(1:last-1)));  
        w = max(0.0, xx2-xx1+1);
        h = max(0.0, yy2-yy1+1); 
        inter = w.*h;

        %不同定義下的IOU
        if strcmp(type,'Min')
            %重疊面積與最小框面積的比值
            o = inter ./ min(area(i),area(I(1:last-1)));
        else
            %交集/並集
            o = inter ./ (area(i) + area(I(1:last-1)) - inter);
        end

        %保留所有重疊面積小於閾值的框，留作下次處理
        I = I(find(o<=threshold));
    end
    pick = pick(1:(counter-1));
end

https://github.com/AITTSMD/MTCNN-Tensorflow 中的python 實現：

import numpy as np
def py_nms(dets, thresh, mode="Union"):
    """
    greedily select boxes with high confidence
    keep boxes overlap <= thresh
    rule out overlap > thresh
    :param dets: [[x1, y1, x2, y2 score]]
    :param thresh: retain overlap <= thresh
    :return: indexes to keep
    """
    x1 = dets[:, 0]
    y1 = dets[:, 1]
    x2 = dets[:, 2]
    y2 = dets[:, 3]
    scores = dets[:, 4]

    areas = (x2 - x1 + 1) * (y2 - y1 + 1)
    order = scores.argsort()[::-1]

    keep = []
    while order.size > 0:
        i = order[0]
        keep.append(i)
        xx1 = np.maximum(x1[i], x1[order[1:]])
        yy1 = np.maximum(y1[i], y1[order[1:]])
        xx2 = np.minimum(x2[i], x2[order[1:]])
        yy2 = np.minimum(y2[i], y2[order[1:]])

        w = np.maximum(0.0, xx2 - xx1 + 1)
        h = np.maximum(0.0, yy2 - yy1 + 1)
        inter = w * h
        if mode == "Union":
            ovr = inter / (areas[i] + areas[order[1:]] - inter)
        elif mode == "Minimum":
            ovr = inter / np.minimum(areas[i], areas[order[1:]])
        #keep
        inds = np.where(ovr <= thresh)[0]
        order = order[inds + 1]

    return keep