去年 11 月份，谷歌大腦提出兼顧準確率和模型效率的新型目標檢測器 EfficientDet，實現了新的 SOTA 結果。前不久，該團隊開源了 EfficientDet 的 TensorFlow 實現程式碼。
如此高效的 EfficientDet 還能更高效嗎？最近，有開發者在 GitHub 上開源了「PyTorch 版本的 EfficientDet」。該版本的效能接近原版，但速度是官方 TensorFlow 實現的近 26 倍！
目前，該專案在 GitHub 上獲得了 957 顆星，最近一天的收藏量接近 300。
GitHub 地址：https://github.com/zylo117
EfficientDet 簡介
近年來，在面對廣泛的資源約束時（如 3B 到 300B FLOPS），構建兼具準確率和效率的可擴充套件檢測架構成為最佳化目標檢測器的重要問題。基於單階段檢測器正規化，谷歌大腦團隊的研究者檢視了主幹網路、特徵融合和邊界框/類別預測網路的設計選擇，發現了兩大主要挑戰並提出了相應的解決方法：
挑戰 1：高效的多尺度特徵融合。研究者提出一種簡單高效的加權雙向特徵金字塔網路（BiFPN），該模型引入了可學習的權重來學習不同輸入特徵的重要性，同時重複應用自上而下和自下而上的多尺度特徵融合。
挑戰 2：模型縮放。受近期研究的啟發，研究者提出一種目標檢測器複合縮放方法，即統一擴大所有主幹網路、特徵網路、邊界框/類別預測網路的解析度/深度/寬度。
谷歌大腦團隊的研究者發現，EfficientNets 的效率超過之前常用的主幹網路。於是研究者將 EfficientNet 主幹網路和 BiFPN、複合縮放結合起來，開發出新型目標檢測器 EfficientDet，其準確率優於之前的目標檢測器，同時引數量和 FLOPS 比它們少了一個數量級。
下圖展示了 EfficientDet 的整體架構，大致遵循單階段檢測器正規化。谷歌大腦團隊的研究者將在 ImageNet 資料集上預訓練的 EfficientNet 作為主幹網路，將 BiFPN 作為特徵網路，接受來自主幹網路的 level 3-7 特徵 {P3, P4, P5, P6, P7}，並重復應用自上而下和自下而上的雙向特徵融合。然後將融合後的特徵輸入邊界框/類別預測網路，分別輸出目標類別和邊界框預測結果。
下圖展示了多個模型在 COCO 資料集上的效能對比情況。在類似的準確率限制下，EfficientDet 的 FLOPS 僅為 YOLOv3 的 1/28、RetinaNet 的 1/30、NASFPN 的 1/19，所有數字均為單個模型在單一尺度下所得。可以看到，EfficientDet 的計算量較其他檢測器少，但準確率優於後者，其中 EfficientDet-D7 獲得了當前最優效能。
更詳細的介紹，可參見機器之心文章：比當前 SOTA 小 4 倍、計算量少 9 倍，谷歌最新目標檢測器 EfficientDet
「宅」是第一生產力
專案作者今年 1 月宅家為國出力時，開始陸續嘗試各類 EfficientDet PyTorch 版實現，期間趟過了不少坑，也流過幾把辛酸淚。但最終得出了非常不錯的效果，也是全網第一個跑出接近論文成績的 PyTorch 版。
我們先來看一下專案作者與 EfficientDet 官方提供程式碼的測試效果對比。第一張圖為官方程式碼的檢測效果，第二張為專案作者的檢測效果。專案作者的實現竟然透過汽車的前擋風玻璃檢測出了車輛裡面的人？！！這樣驚豔的檢測效果不愧是目前 EfficientDet 的霸榜存在。
接下來我們來看一下 coco 資料集上目標檢測演算法的排名，多個屠榜的目標檢測網路基於 EfficientDet 構建。一圖以言之：
來自 paperswithcode
前五里包攬前四，屠榜之勢不言而喻，也難怪各類鍊金術士們躍躍欲試。但是，EfficientDet 的實現難度貌似與其知名度「成正比」，眾鍊金師紛紛表示「難訓練」「至今未訓練好」「誰復現誰被坑」。專案作者也表示「由於谷歌一直不發官方 repository，所以只能民間發力，那些靠 paper 的內容實現出來的真的不容易」。
假期三天，拿下 PyTorch 版 EfficientDet D0 到 D7
專案作者復現結果與論文中並沒完全一致，但相較於其他同類復現專案來說，稱的上是非常接近了（詳細資訊可參考專案連結）。
值得注意的是，此次專案處理速度比原版快了 20 餘倍。
那麼為什麼之前都沒有人復現 EfficientDet 的成績？具體哪些細節需要注意？
「民間」EfficientDet 的取捨
作者前後試用了兩個 GitHub 專案進行實現，但效果並不理想。首先採用的 star 量最高的一個，同時可能也說明了一點，不是 star 越高就越適合。
針對第一個專案，作者表示：「因為 EfficientDet 的特性之一是 BiFPN，它會融合 backbone 輸出的任意相鄰兩層的 feature，但是由於有兩層尺寸的寬高是不同的，所以會進行 upsample 或者 pooling 來保證它們寬高一致。而這個作者沒有意識到，他不知道從 backbone 抽哪些 feature 出來，他覺得是 backbone 有問題，改了人家的 stride，隨便挑了幾層，去強迫 backbone 輸出他想要的尺寸」
「改了網路結構，pretrained 權值基本就廢了，所以作者也發現了，發現訓練不下去了」。至此第一個專案畫上句號，同時作者提供了官方引數與試用專案作者改後的引數對比連結，有興趣的朋友可瀏覽參考連結。
而面向第二個專案，雖然 star 不及前者一半，但顯然可靠度更甚前者。作者表示，第二個專案起碼在 D0 上有論文成績的支撐，同時 repo 也提供了 coco 的 pretrained 權值 31.4mAP。然而實操後作者得到 24mAP，同時社群普遍也在 20-22 範圍中。
那麼此次結果的原因是什麼？作者經過反覆的思考檢測，得到以下 7 點總結，並就此 7 點覆盤進行適當得調整，得到了當前專案不錯的效果。
一波三折後的答案
針對第二個測試專案的覆盤，作者表示一共有 7 個關鍵點需要額外注意：
第二個專案的 BN 實現有問題：BatchNorm 是有一個引數，叫做 momentum，用來調整新舊均值的比例，從而調整移動平均值的計算方式的。
Depthwise-Separatable Conv2D 的錯誤實現。
誤解了 maxpool2d 的引數，kernel_size 和 stride。
減少通道的卷積後面，沒有進行 BN
backbone feature 抽頭抽錯了
Conv 和 pooling，沒有用到 same padding
沒有能正確的理解 BiFPN 的流程
來源於專案作者知乎賬號，詳情請見參考連結
作者還表示，其中有個非常關鍵點，「雞賊的官方並沒有表示這裡是兩個獨立的 P4_0」。
簡而言之，這篇知乎部落格非常詳細的介紹了各種復現注意事項，細節在此不再一一贅述。筆者認為對各鍊金術師有一定參考價值，感興趣的可以直接檢視原文部落格。
同時，機器之心對此專案也進行了實測。
專案實測
測試
我們在 P100 GPU，Ubuntu 18.04 系統下對本專案進行了測試。
首先將專案克隆到本地，並切換到相關目錄下：
!git clone https://github.com/zylo117/Yet-Another-EfficientDet-Pytorch
import os
os.chdir('Yet-Another-EfficientDet-Pytorch')安裝如下依賴環境：
!pip install pycocotools numpy opencv-python tqdm tensorboard tensorboardX pyyaml
!pip install torch==1.4.0
!pip install torchvision==0.5.0專案作者為我們提供了用於推斷測試的 Python 指令碼 efficientdet_test.py，該指令碼會讀取 weights 資料夾下儲存的網路權重，並對 test 資料夾中的圖片進行推斷，之後將檢測結果儲存到同一資料夾下。首先，我們使用如下命令下載預訓練模型：
!mkdir weights
os.chdir('weights')
!wget https://github.com/zylo117/Yet-Another-Efficient-Pytorch/releases/download/1.0/efficientdet-d0.pth之後把需要檢測的圖片放在 test 資料夾下，這裡別忘了還要把 efficientdet_test.py 中對應的影像名稱修改為我們想要檢測圖片的名稱，執行 efficientdet_test.py 指令碼即可檢測圖片中的物體，輸出結果如下：
我們先用曾經爆火的共享單車，現如今倒了一大片淪為「共享單車墳場」測試一下效果如何。下圖分別為原圖與使用本專案的檢測結果。
效果很不錯，圖片中的人與密密麻麻、橫七豎八擺放的共享單車大多都檢測了出來。接下來我們用一張國內常見的堵車場景來測試一下，車輛、非機動車、行人交錯出現在畫面中，可以說是非常複雜的場景了。從檢測結果可以看出，基本上所有的行人、車輛、揹包、袋子等物體都較好地檢測了出來。
最後當然要在「開掛民族」坐火車的場景下測試一番，密集恐懼症慎入。雖然把旗子檢測成了風箏（很多目標檢測演算法都容易出現這樣的問題），但總體來說檢測效果可以說是非常驚豔的。它檢測出了圖片中大部分的人物，和機器之心此前報導過的高精度人臉檢測方法-DBFace 的準確率有得一拼。需要注意的是，DBFace 是專用於人臉檢測的方法，而本專案實現的是通用物體檢測。
訓練
專案作者同時也提供了訓練 EfficientDet 相關的程式碼。我們只需要準備好訓練資料集，設定好類似於如下程式碼所示的訓練引數，執行 train.py 即可進行訓練
# create a yml file {your_project_name}.yml under 'projects'folder
# modify it following 'coco.yml'
# for example
project_name: coco
train_set: train2017
val_set: val2017
num_gpus: 4 # 0 means using cpu, 1-N means using gpus
# mean and std in RGB order, actually this part should remain unchanged as long as your dataset is similar to coco.
mean: [0.485, 0.456, 0.406]
std: [0.229, 0.224, 0.225]
# this is coco anchors, change it if necessary
anchors_scales: '[2 ** 0, 2 ** (1.0 / 3.0), 2 ** (2.0 / 3.0)]'
anchors_ratios: '[(1.0, 1.0), (1.4, 0.7), (0.7, 1.4)]'
# objects from all labels from your dataset with the order from your annotations.
# its index must match your dataset's category_id.
# category_id is one_indexed,
# for example, index of 'car' here is 2, while category_id of is 3
obj_list: ['person', 'bicycle', 'car', ...]在 coco 資料集上訓練程式碼如下：
# train efficientdet-d0 on coco from scratch
# with batchsize 12
# This takes time and requires change
# of hyperparameters every few hours.
# If you have months to kill, do it.
# It's not like someone going to achieve
# better score than the one in the paper.
# The first few epoches will be rather unstable,
# it's quite normal when you train from scratch.
python train.py -c 0 --batch_size 12在自定義資料集上訓練：
# train efficientdet-d1 on a custom dataset
# with batchsize 8 and learning rate 1e-5
python train.py -c 1 --batch_size 8 --lr 1e-5專案作者強烈推薦在預訓練的權重上對網路進行訓練：
# train efficientdet-d2 on a custom dataset with pretrained weights
# with batchsize 8 and learning rate 1e-5 for 10 epoches
python train.py -c 2 --batch_size 8 --lr 1e-5 --num_epochs 10 \
--load_weights /path/to/your/weights/efficientdet-d2.pth
# with a coco-pretrained, you can even freeze the backbone and train heads only
# to speed up training and help convergence.
python train.py -c 2 --batch_size 8 --lr 1e-5 --num_epochs 10 \
--load_weights /path/to/your/weights/efficientdet-d2.pth \
--head_only True專案作者知乎文章：https://zhuanlan.zhihu.com/p/129016081