AI換臉——汝怎飾品如面

僱個城管打天下發表於2019-04-03
AI

事先說明，該篇文章中的程式碼是我無意中發現的，這裡僅做一個分享，文末會給出參考文章，不喜勿噴。

完整原始碼和預訓練模型可在公眾號：「01二進位制」後臺回覆：「AI換臉」獲取

前言

作為一個經常逛b站的肥宅，前段時間無意中看到了一個名為"換臉哥"做的換臉視訊，讓楊冪“穿越”到了1994年版的《射鵰英雄傳》裡，“代替”了朱茵，“出演”了黃蓉這個角色。視訊如下（b站視訊已經被刪了，只能轉載知乎的視訊了，原地址是楊冪“換臉”，AI換臉究竟有多可怕 - 科技富能量的文章 - 知乎）：

看完我便虎軀一震，這也太厲害了吧，這種技術一旦流行起來，ab不用去片場就能拍戲了啊，真的是躺著賺錢啊。這要是運用到H片上，豈不是???

AI換臉——汝怎飾品如面

言歸正傳，作為一個coder，在看到這個視訊之後我就很想知道這究竟是怎麼做出來的，在查閱了一些資料後，我才發現最悲傷的事情莫過於，好不容易把原始碼找到了，資料集下載好了，結果顯示卡帶不起來…

Tips：這裡給出我之前找到的兩個有關視訊換臉的倉庫，有興趣的自己去了解下：

既然條件不允許，那我們只能降低成本，既然視訊裡的臉不好換，那就退而求其次，換一下圖片裡面的臉，果然在我的苦苦尋覓後，我找到了一個低配版的 Python 換臉大法：

《Switching Eds: Face swapping with Python, dlib, and OpenCV》

以下內容均參考上述所標註的文章，在這感謝原作者。

接下來我將會介紹如何通過一段簡短的 Python 指令碼（200行左右）將一張圖片中面部特徵自動替換為另外一張圖片中的面部特徵。

具體過程分為四個步驟：

  • 檢測面部標誌；
  • 旋轉、縮放和平移圖 2 以適應圖 1；
  • 調整圖 2 的白平衡以匹配圖 1；
  • 將圖 2 的特徵融合到圖 1 中；

實驗環境

  • MacOS 10.14.3
  • Python 3.7
  • PyCharm
  • 用到的庫有：
    • numpy
    • dlib
    • opencv-python

工具說明

numpy大家應該都很熟悉了，這裡我簡單介紹下dlib和opencv。

dlib

官網介紹其為：A toolkit for making real world machine learning and data analysis applications，簡單來說他就是一個開源的機器學習庫，包含了很多機器學習的演算法。同時對外提供了C++和Python的介面。使用dlib可以大大簡化開發，比如人臉識別，特徵點檢測之類的工作都可以很輕鬆實現。同時也有很多基於dlib開發的應用和開源庫，比如face_recogintion庫（據說識別率高達93%，有興趣的可以查閱相關資料）。python下的安裝也很簡單，執行pip install dlib即可。

opencv

OpenCV是Intel®開源計算機視覺庫。它由一系列 C 函式和少量 C++ 類構成，實現了影像處理和計算機視覺方面的很多通用演算法。是計算機視覺領域非常重要的一個開源庫。官網地址：opencv.org/

開始換臉

提取面部特徵

既然要換臉，我們肯定要先在圖片中找到人臉，dlib中有一個函式get_frontal_face_detector()實現了面部特徵提取，核心演算法來自於 Vahid Kazemi 和 Josephine Sullivan 的論文《One Millisecond Face Alignment with an Ensemble of Regression Tree》，我也沒有讀過這篇論文就不解釋了。提取面部特徵的程式碼如下：

# 面部檢測器
detector = dlib.get_frontal_face_detector()
# 特徵提取器
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')

def GetLandmarks(img_path):
    img = cv2.imread(img_path, cv2.IMREAD_COLOR)
    rects = detector(img, 1)
    if len(rects) > 1:
        print('[Warning]: More than one face in picture, only choose one randomly...')
        rects = rects[0]
    elif len(rects) == 0:
        print('[Error]: No face detected...')
        return None
    return img, np.matrix([[p.x, p.y] for p in predictor(img, rects[0]).parts()])
複製程式碼

get_landmarks() 函式接受一個圖片，經過處理後以 numpy 陣列的形式進行處理，並返回一個 68x2 的元素矩陣。矩陣的每一行與輸入影像中特定特徵點的 x，y 座標相對應。

特徵提取器（predictor）需要一個大概的邊界框作為演算法的輸入。這將由傳統的面部檢測器（detector）提供。該面部檢測器會返回一個矩形列表，其中每一個矩形與影像中的一張人臉相對應。

生成 predictor 需要預先訓練好的模型。該模型可在微信公眾號「01二進位制」後臺回覆"AI換臉"獲得。

人臉對齊

有了上述方法，我們就可以提取出圖片中的人臉了，但是兩張照片中的人臉方向肯定都是不一致的（畢竟你不能保證每張都是證件照啊），就像下面這兩張圖：

image-20190403222900051

這兩個人臉的方向明顯不一致啊，所以我們還需要對人臉進行對齊。我們現在已經獲取到每張圖片中人臉矩形的座標了，剩下的就是弄明白如何旋轉、平移和縮放第一個向量的所有點，使其儘可能匹配第二個向量中的點就可以了。這裡運用到了一個名為**普氏分析法（Ordinary Procrustes Analysis）**的方法解決這個問題的，數學能力有限，數學依據參考註釋中的連結，這裡就直接放出程式碼吧：

# refer:
# 	https://en.wikipedia.org/wiki/Procrustes_analysis#Ordinary_Procrustes_analysis
def TransferPoints(points1, points2):
    points1 = points1.astype(np.float64)
    points2 = points2.astype(np.float64)
    c1 = np.mean(points1, axis=0)
    c2 = np.mean(points2, axis=0)
    points1 -= c1
    points2 -= c2
    s1 = np.std(points1)
    s2 = np.std(points2)
    points1 /= s1
    points2 /= s2
    # 奇異值分解
    U, S, Vt = np.linalg.svd(points1.T * points2)
    R = (U * Vt).T
    return np.vstack([np.hstack(((s2 / s1) * R, c2.T - (s2 / s1) * R * c1.T)), np.matrix([0., 0., 1.])])
複製程式碼

之後我們再把對齊的結果利用 OpenCV 的 cv2.warpAffine 函式，將第二個圖片對映到第一個圖片上：

def WarpImg(img, M, dshape):
    output_img = np.zeros(dshape, dtype=img.dtype)
    cv2.warpAffine(img,
                   M[:2],
                   (dshape[1], dshape[0]),
                   dst=output_img,
                   borderMode=cv2.BORDER_TRANSPARENT,
                   flags=cv2.WARP_INVERSE_MAP)
    return output_img
複製程式碼

校正圖片顏色

兩張圖片由於不同的膚色和光線造成了覆蓋區域邊緣的不連續。所以我們需要修正它：

def ModifyColor(img1, img2, landmarks1):
    blur_amount = 0.6 * np.linalg.norm(
        np.mean(landmarks1[LEFT_EYE_POINTS], axis=0) - np.mean(landmarks1[RIGHT_EYE_POINTS], axis=0))
    blur_amount = int(blur_amount)
    if blur_amount % 2 == 0:
        blur_amount += 1
    img1_blur = cv2.GaussianBlur(img1, (blur_amount, blur_amount), 0)
    img2_blur = cv2.GaussianBlur(img2, (blur_amount, blur_amount), 0)
    img2_blur += (128 * (img2_blur <= 1.0)).astype(img2_blur.dtype)
    return (img2.astype(np.float64) * img1_blur.astype(np.float64) / img2_blur.astype(np.float64))
複製程式碼

圖片融合

用一個蒙版（mask）來選擇圖 2 和圖 1 應被最終顯示的部分：

AI換臉——汝怎飾品如面

值為 1 (白色)的地方為圖 2 應顯示的區域，值為 0 (黑色)的地方為圖 1 應顯示的區域。值在 0 和 1 之間的地方為圖 1 圖 2 的混合區域。

這是生成上述內容的程式碼：

def GetFaceMask(img, landmarks):
    img = np.zeros(img.shape[:2], dtype=np.float64)
    groups = [
        LEFT_EYE_POINTS + RIGHT_EYE_POINTS + LEFT_BROW_POINTS + RIGHT_BROW_POINTS,
        NOSE_POINTS + MOUTH_POINTS,
    ]
    for group in groups:
        DrawConvexHull(img, landmarks[group], color=1)
    img = np.array([img, img, img]).transpose((1, 2, 0))
    img = (cv2.GaussianBlur(img, (11, 11), 0) > 0) * 1.0
    img = cv2.GaussianBlur(img, (11, 11), 0)
    return img

def DrawConvexHull(img, points, color):
    points = cv2.convexHull(points)
    cv2.fillConvexPoly(img, points, color=color)

def ModifyColor(img1, img2, landmarks1):
    blur_amount = 0.6 * np.linalg.norm(
        np.mean(landmarks1[LEFT_EYE_POINTS], axis=0) - np.mean(landmarks1[RIGHT_EYE_POINTS], axis=0))
    blur_amount = int(blur_amount)
    if blur_amount % 2 == 0:
        blur_amount += 1
    img1_blur = cv2.GaussianBlur(img1, (blur_amount, blur_amount), 0)
    img2_blur = cv2.GaussianBlur(img2, (blur_amount, blur_amount), 0)
    img2_blur += (128 * (img2_blur <= 1.0)).astype(img2_blur.dtype)
    return (img2.astype(np.float64) * img1_blur.astype(np.float64) / img2_blur.astype(np.float64))
複製程式碼

GetFaceMask()函式定義是：為一張影像和一個標誌矩陣生成一個蒙版。蒙版會畫出兩個白色的凸多邊形：一個是眼睛周圍的區域，一個是鼻子和嘴部周圍的區域。之後，蒙版的邊緣區域向外羽化 11 個畫素，這可以幫助消除剩下的不連續部分。

參考

本文參考了下述文章：

  1. 《Switching Eds: Face swapping with Python, dlib, and OpenCV》
  2. 《萌新如何用Python實現人臉替換？》

完整原始碼和預訓練模型可在公眾號：「01二進位制」後臺回覆：「AI換臉」獲取

最後

至此，一個低配版的AI換臉就完成了，結果就如開頭那樣。此次實驗雖然已有換臉的雛形，但是精度還遠遠不夠，而且這種換臉如果用到視訊中肯定是不堪入目的，畢竟做得好的已經是下面這樣了：

AI換臉——汝怎飾品如面

方法教給大家了，圖片素材大家可以自己找，玩一玩，要是能轉發到朋友圈讓更多人看到就更好了！

下篇更新"美國校隊蔡徐坤"打籃球視訊的txt版，這裡先放個預覽的GIF圖：

AI換臉——汝怎飾品如面

喜歡的小夥伴可以長按下方二維碼關注哦～。?

AI換臉——汝怎飾品如面

相關文章