簡介
Dlib由C++編寫，提供了和機器學習、數值計算、圖模型演算法、影像處理等領域相關的一系列功能
- 官方網站：dlib.net/
- Github專案：github.com/davisking/d…
安裝
安裝Dlib之前需要先安裝cmake，這裡以原始碼方式安裝，去官網根據系統下載相應的原始碼，cmake.org/download/
- Linux、Mac OS：cmake.org/files/v3.10…
- Windows：cmake.org/files/v3.10…
解壓之後，在終端裡進入原始碼目錄，依次執行以下命令
./bootstrap
make
sudo make install
複製程式碼sudo是以root許可權執行命令，適用於Linux和Mac OS
如果是Windows，則以管理員身份開啟cmd，並且最後一行命令改為
make install
複製程式碼接下來，在終端中執行以下命令，檢查cmake是否成功安裝
cmake --version
複製程式碼如果出現了相應的版本資訊，則說明cmake安裝成功
之後便可以使用pip安裝Dlib
pip install dlib
複製程式碼安裝之後進入Python，如果能正常import，則說明Dlib安裝成功
import dlib
複製程式碼如果是Mac OS，還需要安裝XQuartz用於顯示影像
安裝XQuartz之後如果碰到類似以下問題
xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun
複製程式碼那麼在命令列執行以下命令即可解決
xcode-select --install
複製程式碼完成以上安裝工作之後，我們來體驗下Dlib提供的一些和圖片處理相關的例子
人臉檢測
載入庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
複製程式碼準備好人臉檢測器和顯示視窗，獲取圖片路徑
detector = dlib.get_frontal_face_detector()
win = dlib.image_window()
paths = glob.glob(`faces/*.jpg`)
複製程式碼對每一張圖片進行檢測，並顯示檢測結果對應的矩形框
for path in paths:
img = imread(path)
# 1 表示將圖片放大一倍，便於檢測到更多人臉
dets = detector(img, 1)
print(`檢測到了 %d 個人臉` % len(dets))
for i, d in enumerate(dets):
print(`- %d：Left %d Top %d Right %d Bottom %d` % (i, d.left(), d.top(), d.right(), d.bottom()))
win.clear_overlay()
win.set_image(img)
win.add_overlay(dets)
dlib.hit_enter_to_continue()
複製程式碼檢測時也可以指定一個閾值
path = `faces/2007_007763.jpg`
img = imread(path)
# -1 表示人臉檢測的判定閾值
# scores 為每個檢測結果的得分，idx 為人臉檢測器的型別
dets, scores, idx = detector.run(img, 1, -1)
for i, d in enumerate(dets):
print(`%d：score %f, face_type %f` % (i, scores[i], idx[i]))
win.clear_overlay()
win.set_image(img)
win.add_overlay(dets)
dlib.hit_enter_to_continue()
複製程式碼
人臉關鍵點檢測
使用訓練好的模型shape_predictor_68_face_landmarks.dat，在檢測出人臉的同時，檢測出人臉上的68個關鍵點
載入庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
複製程式碼準備好人臉檢測器、關鍵點檢測模型、顯示視窗、圖片路徑
detector = dlib.get_frontal_face_detector()
predictor_path = `shape_predictor_68_face_landmarks.dat`
predictor = dlib.shape_predictor(predictor_path)
win = dlib.image_window()
paths = glob.glob(`faces/*.jpg`)
複製程式碼檢測每一張圖片
for path in paths:
img = imread(path)
win.clear_overlay()
win.set_image(img)
# 1 表示將圖片放大一倍，便於檢測到更多人臉
dets = detector(img, 1)
print(`檢測到了 %d 個人臉` % len(dets))
for i, d in enumerate(dets):
print(`- %d: Left %d Top %d Right %d Bottom %d` % (i, d.left(), d.top(), d.right(), d.bottom()))
shape = predictor(img, d)
# 第 0 個點和第 1 個點的座標
print(`Part 0: {}, Part 1: {}`.format(shape.part(0), shape.part(1)))
win.add_overlay(shape)
win.add_overlay(dets)
dlib.hit_enter_to_continue()
複製程式碼
人臉識別
不光是檢測人臉，還要知道每張臉是誰
Dlib將每張人臉對映為一個128維的向量，當兩個向量之間的Euclidean距離小於0.6時，可以認為屬於同一個人
以上判定標準在LFW（Labeled Faces in the Wild，08課提到過）資料集上可以獲得99.38%的識別準確率
這裡需要用到兩個模型，shape_predictor_68_face_landmarks.dat和dlib_face_recognition_resnet_model_v1.dat，根據人臉檢測結果得到關鍵點檢測結果，根據關鍵點檢測結果進一步得到128維向量表示
載入庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
import numpy as np
複製程式碼準備好模型和圖片
detector = dlib.get_frontal_face_detector()
predictor_path = `shape_predictor_68_face_landmarks.dat`
predictor = dlib.shape_predictor(predictor_path)
face_rec_model_path = `dlib_face_recognition_resnet_model_v1.dat`
facerec = dlib.face_recognition_model_v1(face_rec_model_path)
labeled = glob.glob(`labeled/*.jpg`)
labeled_data = {}
unlabeled = glob.glob(`unlabeled/*.jpg`)
複製程式碼距離計算函式
# 定義一個計算Euclidean距離的函式
def distance(a, b):
# d = 0
# for i in range(len(a)):
# d += (a[i] - b[i]) * (a[i] - b[i])
# return np.sqrt(d)
return np.linalg.norm(np.array(a) - np.array(b), ord=2)
複製程式碼獲取標註圖片對應的向量表示
# 讀取標註圖片並儲存對應的128向量
for path in labeled:
img = imread(path)
name = path.split(`/`)[1].rstrip(`.jpg`)
dets = detector(img, 1)
# 這裡假設每張圖只有一個人臉
shape = predictor(img, dets[0])
face_vector = facerec.compute_face_descriptor(img, shape)
labeled_data[name] = face_vector
複製程式碼將未標註圖片的向量表示，和標註圖片逐一匹配
# 讀取未標註圖片，並和標註圖片進行對比
for path in unlabeled:
img = imread(path)
name = path.split(`/`)[1].rstrip(`.jpg`)
dets = detector(img, 1)
# 這裡假設每張圖只有一個人臉
shape = predictor(img, dets[0])
face_vector = facerec.compute_face_descriptor(img, shape)
matches = []
for key, value in labeled_data.items():
d = distance(face_vector, value)
if d < 0.6:
matches.append(key + ` %.2f` % d)
print(`{}：{}`.format(name, `;`.join(matches)))
複製程式碼結果顯示，全部標註圖片都通過了匹配，說明白百合和王珞丹是真的像……
人臉聚類
對於大量圖片中的大量人臉，基於以上人臉識別標準進行聚類，把距離較近的人臉聚為一類，即有可能為同一個人
載入庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
import os
from collections import Counter
複製程式碼準備好模型和圖片
detector = dlib.get_frontal_face_detector()
predictor_path = `shape_predictor_68_face_landmarks.dat`
predictor = dlib.shape_predictor(predictor_path)
face_rec_model_path = `dlib_face_recognition_resnet_model_v1.dat`
facerec = dlib.face_recognition_model_v1(face_rec_model_path)
paths = glob.glob(`faces/*.jpg`)
複製程式碼獲取所有圖片的關鍵點檢測結果和向量表示
vectors = []
images = []
for path in paths:
img = imread(path)
dets = detector(img, 1)
for i, d in enumerate(dets):
shape = predictor(img, d)
face_vector = facerec.compute_face_descriptor(img, shape)
vectors.append(face_vector)
images.append((img, shape))
複製程式碼以0.5為閾值進行聚類，並找出人臉數量最多的類
labels = dlib.chinese_whispers_clustering(vectors, 0.5)
num_classes = len(set(labels))
print(`共聚為 %d 類` % num_classes)
biggest_class = Counter(labels).most_common(1)
print(biggest_class)
複製程式碼將最大類中包含的人臉儲存下來，類似的也可以處理其他的類
output_dir = `most_common`
if not os.path.exists(output_dir):
os.mkdir(output_dir)
face_id = 1
for i in range(len(images)):
if labels[i] == biggest_class[0][0]:
img, shape = images[i]
dlib.save_face_chip(img, shape, output_dir + `/face_%d` % face_id, size=150, padding=0.25)
face_id += 1
複製程式碼物體追蹤
物體追蹤是指，對於視訊檔案，在第一幀指定一個矩形區域，對於後續幀自動追蹤和更新區域的位置
載入庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
複製程式碼準備好追蹤器和圖片
tracker = dlib.correlation_tracker()
win = dlib.image_window()
paths = sorted(glob.glob(`video_frames/*.jpg`))
複製程式碼追蹤圖片中的物體
for i, path in enumerate(paths):
img = imread(path)
# 第一幀，指定一個區域
if i == 0:
tracker.start_track(img, dlib.rectangle(74, 67, 112, 153))
# 後續幀，自動追蹤
else:
tracker.update(img)
win.clear_overlay()
win.set_image(img)
win.add_overlay(tracker.get_position())
dlib.hit_enter_to_continue()
複製程式碼儘管物體的位置在不斷變化，Dlib始終能夠比較準確地進行追蹤
參考
- Dlib官網：dlib.net/
- Dlib Github：github.com/davisking/d…