人臉識別學習筆記二：進階篇

李一二發表於2020-07-12
筆記
一、人臉檢測實戰
1.使用OpenCV進行人臉檢測

OpenCV進行人臉檢測使用的是名為 Viola-Jones 的目標檢測框架的演算法。

第一步：下載OpenCV庫

pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

第二步：找到預設的預訓練權重檔案

1.一般在python安裝目錄的上級目錄的/lib/python3.7/site-packages/cv2/data目錄下，有個haarcascade_frontalface_default.xml檔案
2.例如：我的python安裝路徑為/Users/username/opt/anaconda3/envs/tensorflow/bin/python，
那麼檔案路徑就為/Users/username/opt/anaconda3/envs/tensorflow/lib/python3.7/site-packages/cv2/data/haarcascade_frontalface_default.xml
3.將該檔案拷貝到某一資料夾下

第三步：在拷貝的haarcascade_frontalface_default.xml檔案的同級目錄下，新建face_detect_cv3.py檔案：

# -*- coding: utf-8 -*-

import cv2
import sys

# 獲取相應引數
imagePath = sys.argv[1] #從命令列讀取圖片路徑
cascPath = "haarcascade_frontalface_default.xml" #預訓練的權重檔案，這裡使用相對路徑

# 建立haar級聯分類器
faceCascade = cv2.CascadeClassifier(cascPath)

# 讀取圖片並將BGR影像變換為灰度圖
image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 檢測人臉影像
# scaleFactor：確定每個影像縮放比例大小。
# minNeighbors：確定每個候選矩形應保留多少個相鄰框。
# minSize：最小目標的大小。小於該值的目標將被忽略。
# maxSize：最大目標的大小。大於該值的目標將被忽略。
faces = faceCascade.detectMultiScale(
    gray,
    scaleFactor=1.1,
    minNeighbors=5,
    minSize=(30, 30)
  	#如果使用OpenCV3，則需要註釋下面這句
    #flags = cv2.CV_HAAR_SCALE_IMAGE
)

# x,y,w,h分別是人臉框區域的左上角點的座標和人臉框的寬高
for (x, y, w, h) in faces:
    cv2.rectangle(image, (x, y), (x+w, y+h), (0, 255, 0), 2)

cv2.imshow("Found {0} faces!".format(len(faces)), image)
cv2.waitKey(0)

第四步：在終端中執行

1. cd 到face_detect_cv3.py檔案所在目錄
2. python face_detect_cv3.py test.jpg #test.jpg是測試影像的路徑，這裡使用相對路徑，所以要放在同級目錄下

使用OpenCV進行檢測

2.使用face_recognition庫進行人臉檢測

face_recognition使用dlib中最先進的人臉識別深度學習演算法，其識別準確率在LFW資料集測試基準下達到了99.38%。

第一步：下載face_recognition庫

pip install face_recognition -i https://pypi.tuna.tsinghua.edu.cn/simple

第二步：在測試圖片test.jpg檔案的同級目錄下，新建face_detect_fr.py檔案：

# -*- coding: utf-8 -*-

import cv2
import sys

import face_recognition

# 獲取圖片路徑
imagePath = sys.argv[1]

# face_recognition載入圖片
image = face_recognition.load_image_file(imagePath)
# 人臉檢測
face_locations = face_recognition.face_locations(image)

# openCV讀取圖片
image = cv2.imread(imagePath)

# top,right,bottom,left分別是人臉框中最頂部，最右側，最底部，最左側的值
for (top, right, bottom, left) in face_locations:
    cv2.rectangle(image, (left, top), (right, bottom), (0, 255, 0), 2)


cv2.imshow("Found {0} faces!".format(len(face_locations)), image)
cv2.waitKey(0)

第四步：在終端中執行

1. cd 到face_detect_cv3.py檔案所在目錄
2. python face_detect_cv3.py test.jpg #test.jpg是測試影像的路徑，這裡使用相對路徑，所以要放在同級目錄下

face_recognition進行人臉檢測

二、FaceNet簡析
1.網路整體結構

FaceNet模型結構

對於一批人臉資料（此處的人臉資料就是通過人臉檢測演算法例如MTCNN檢測出來的人臉資料，在我們的例子是96*96的影像），經過一個深度神經網路進行特徵提取，然後經過L2正則將每個人臉資料對映為一個128維向量（這也就是embedding的結果）。然後將這些個128維的向量作為輸入，計算triplet loss，將triplet loss作為損失函式來進行訓練。然後將這些128維向量之間的歐式距離作為分類依據，距離小於某一個閾值，即視為同一個人。

2.三元組損失函式

Triplet Loss

  • Triplet 三元組指的是：anchor, negative, positive 三個部分，每一部分都是一個 embedding 向量。
  • anchor指的是基準圖片，positive指的是與anchor同一分類下與anchor歐式距離最大的一張圖片，negative指的是與anchor不同分類下與anchor歐式距離最小的一張圖片。
  • Triplet Loss可以讓同一個人的不同人臉對應的embedding向量的歐式距離小，不同人臉對應的向量歐式距離大。
3.對映的特徵空間維數

特徵空間維數和精確率VAL之間的關係

對於不同的特徵維度D,特徵越多並非越好。通過取不同的維數發現，embedding向量的維數為128更為合適。

4.分類

最後一步，相當於依據歐式距離做聚類了（個人覺得是一個有監督的聚類），可以使用SVM和KNN等聚類演算法。

三、FaceNet使用預訓練好的模型進行人臉檢測
1.訓練流程介紹
  1. 載入訓練資料集
  2. 人臉檢測、對齊和提取（使用 OpenFace 的人臉對齊工具 AlignDlib）
  3. 人臉特徵向量學習（使用預訓練的 nn4.small1.v1 模型)
  4. 人臉分類（使用 KNN 或 SVM）
  5. 實際上，我們是使用預訓練好的模型進行人臉檢測。所以只需要1，2，4步，第三步實際上是載入模型，所以在程式碼中不需要用到三元組損失函式來訓練模型。
2.訓練資料的形式
  • 每人一個檔案目錄，目錄以人名命名，如”Fan_Bingbing“
  • 每個人的檔案目錄下包含10張影像（最好是1:1比例），影像檔案以"人名_序號"命名，僅支援.jpg和.jpeg 兩種格式。如”Fan_Bingbing_0001.jpg“。
  • images目錄下是亞洲人的人臉圖片，origin_images目錄下是歐美人的人臉圖片
3.開始進行人臉檢測

需要安裝的庫有keras、matplotlib、numpy、opencv、pydot、graphviz、sklearn

因為這一部分程式碼較多，所以把對程式碼的理解和部分函式的註釋直接寫在註釋裡了。

詳情請看github中的face_recognition.ipynb檔案。

4.模型測試與視覺化分析

由於nn4.small2.v1模型是在歐美人的人臉資料集上訓練的，因此識別歐美人比識別亞洲人更好。這一點，我們可以從以下幾個方面檢視：

  1. 準確率和F1值

在歐美人資料集上，不同的距離閾值對應的準確率和F1值的曲線如下圖：

在歐美人資料集(origin_images)上的精確率和F1值

在亞洲人資料集上，不同的距離閾值對應的準確率和F1值的曲線如下圖：

在亞洲人資料集(images)上的精確率和F1值

可以看到，在歐美人資料集上，當閾值為0.58時準確率最高為0.957；在亞洲人資料集上，當閾值為0.32時準確率最高為0.900。

  1. 特徵向量之間的歐式距離直方圖

在歐美人資料集上，同一個人和不同的人圖片所對應的特徵向量之間的歐式距離直方圖如下，虛線表示最佳距離閾值：

在歐美人資料集(origin_images)上的歐式距離直方圖

在亞洲人資料集上，同一個人和不同的人圖片所對應的特徵向量之間的歐式距離直方圖如下，虛線表示最佳距離閾值：

在亞洲人資料集(images)上的歐式距離直方圖

可以看到，在歐美人資料集上，同一個人的影像對應的特徵向量在虛線左側（即被預測為同一個人）的比例和不同的人的影像對應的特徵向量在虛線右側（即被預測為不同的人）的比例均高於在亞洲人資料集上的比例。

  1. 人臉特徵向量降維之後的分佈

在歐美人資料集上，將每個人的照片對應的128維特徵向量降維之後展現在二維平面如下：

在歐美人資料集(origin_images)上的降維分佈

在亞洲人資料集上，將每個人的照片對應的128維特徵向量降維之後展現在二維平面如下：

在亞洲人資料集(images)上的降維分佈

可以看到歐美人對應的降維後的結果，聚類更加明顯，類別之間的區分度更大。

相關文章