簡介

隨著時代的進步，全民刷臉已經成為一種新型的生活方式，這也是全球科技進步的又一階梯，人臉識別技術已經成為一種大趨勢，無論在智慧出行、智慧家居、智慧辦公等場景均有較廣泛的應用場景，本文介紹了基於SeetaFace2人臉識別引擎在OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）上實現人臉識別的AI能力。

什麼是SeetaFace2

SeetaFace2是由中科視拓(北京)科技有限公司開發並使用BSD開源協議開源出來的一款人臉識別引擎庫，其搭建了一套全自動人臉識別系統所需的三個核心模組，即：人臉檢測模組FaceDetector、面部關鍵點定位模組 FaceLandmarker 以及人臉特徵提取與比對模組FaceRecognizer。除了三個核心模組外，它還提供了兩個輔助模組FaceTracker和QualityAssessor用於人臉跟蹤和質量評估。下圖是SeetaFace2人臉識別演算法元件：

undefined

SeetaFace2能做什麼

SeetaFace2採用標準C++開發，全部模組均不依賴任何第三方庫，支援x86架構（Windows、Linux）和ARM架構，可以輕鬆地移植到OpenHarmony上。SeetaFace2支援的上層應用包括但不限於人臉門禁、無感考勤、人臉比對等。如下圖展示了SeetaFace2支援的應用矩陣：

undefined

SeetaFace2人臉識別原理

SeetaFace2人臉識別引擎搭建了一套全自動人臉識別系統所需的三個核心模組:

1. 人臉檢測(FaceDetector)

在影像中首先定位出人臉的位置，然後裁剪(crop)出包含人臉位置的矩形框，一般還會進行填充、縮放到指定尺寸，還可能會對人臉影像進行標準化normalize；

2. 面部關鍵點定位(FaceLandmarker)

提取人臉關鍵點座標，然後使用放射變化或相似變換等進行人臉對齊變換。面部關鍵點定位的目標就是把所有的人臉圖片統一到一個固定的正臉姿態大小，從而提高模型對人臉姿態變化的魯棒性。

3. 人臉特徵提取與比對模組(FaceRecognizer)

主要使用深度學習等方法提取人臉的特徵，然後透過特徵對比，計算人臉的相似度。

SeetaFace2人臉識別的具體過程如下圖所示：

undefined

兩步帶你實現人臉識別

關於SeetaFace2的如何移植到OpenHarmony移植請參照文件：SeetaFace2移植開發文件（請參考文章末尾相關文件連結），這裡我們主要分析透過SeetaFace2如何實現人臉識別。

從上面人臉識別的流程圖可以知道人臉識別主要包含2個大塊：人臉註冊和人臉識別。

1. 人臉註冊

人臉註冊首先需要對傳入的圖片進行人臉檢測，當檢測到人臉後會提取對應的人臉資訊，並將資訊儲存用於對比。

人臉資訊檢測實現：

std::vector<SeetaFaceInfo> DetectFace(const SeetaImageData &image)
{
  auto faces = FD.detect(image);
  return std::vector<SeetaFaceInfo>(faces.data, faces.data + faces.size);
}

其中FD是三大模組中的人臉檢測模組(FaceDetector)，其載入了人臉檢測模型：

seeta::ModeStting FD_model("fd_2_00.dat", seeta::ModeStting::CPU, 0);

而返回SeetaFaceInfo資料則是檢測到的人臉資訊，其中包含了人臉個數，人臉區域座標以及人臉置信度得分資料。然後透過人臉資訊檢測返回的資料進行面部關鍵點定位。

面部關鍵點定位實現：

std::vector<SeetaPointF> DetectPoints(const SeetaImageData &image, const SeetaRect &face)
{
  std::vector<SeetaPointF> points(PD.number());
  PD.mark(image, face, points.data());
  return std::move(points);
}

其中的PD是三大模組中的關鍵點定位模組(FaceLandmarker)，關鍵點定位需要根據面部特徵模型進行對比分析的，SeetaFace2提供2種面部特徵模型。分別是透過5點定位和透過81點定位，此例項中我們使用的是81點定位模型：

seeta::ModeStting PD_model("pd_2_00_pts81.dat", seeta::ModeStting::CPU, 0);

獲取完面部特徵資料後，SeetaFace2提供了一個人臉資料庫進行儲存對應的人臉資訊資料，以此來完成人臉資訊的註冊：

int64_t Register(const SeetaImageData &image)
{
  auto faces =  DetectFace(image);
  auto points =  DetectPoints(image, faces.pos);
  return FDB.Register(image, points.data());
}

其中FDB是SeetaFace2實現的FaceDatabase資料庫管理。該資料庫也為人臉識別提供面部特徵資料的對比結果，面部特徵對比也需要一個人臉資料模型：

seeta::ModeStting FDB_model("fr_2_00.dat", seeta::ModeStting::CPU, 0);

透過以上步驟，我們就已經完成了人臉的註冊。

2. 人臉識別

人臉識別和人臉註冊步驟類似，都需要先檢測人臉資訊及提取面部特徵資料。唯一的區別在於提取面部特徵時需要進行人臉質量評估，最後根據質量評估結果進行識別，具體實現如下：

int64_t RecogizePoint(const SeetaImageData &image)
{
    int64_t result = 0;
  seeta::ModeStting FD_model("fd_2_00.dat", seeta::ModeStting::CPU, 0);        // 此3步建立3個模型
  seeta::ModeStting PD_model("pd_2_00_pts81.dat", seeta::ModeStting::CPU, 0);
  seeta::ModeStting FDB_model("fr_2_00.dat", seeta::ModeStting::CPU, 0);
  
  seeta::FaceDetector FD(FD_model);    // 建立人臉檢測模組
  seeta::FaceLandmarker PD(PD_model);   // 建立面部關鍵點定位模組
  seeta::FaceDatabase FDB(FDB_model);    // 建立人臉特徵資訊資料庫模組
  
  auto faces = FD.detect(image);        // 獲取人臉特徵資訊
    for (SeetaFaceInfo &face : faces) {    // 對比每個人臉資訊
        int64_t index = -1;
        float similarity = 0;
        std::vector<SeetaPointF> points(PD.number());
      PD.mark(image, face, points.data());            // 獲取人臉框資訊
        auto score = QA.evaluate(image, face.pos, points.data());   // 獲取人臉質量評分
        if (score == 0) {
            HILOGI("no ignored\r\n");
        } else {
            auto queried = FDB.QueryTop(image, points.data(), 1, &index, &similarity);    // 從註冊的人臉資料庫中對比相似度
            if (queried < 1) {
                continue;
            }
            if (similarity > threshold) {
                HILOGI("get recognized face!! \r\n");
                result++;
            }
        }
    }
    
    return result; 
}

參考連結

OpenHarmony知識體系工作組

SeetaFace2移植開發文件

SeetaFace2 GitHub原始碼地址

SeetaFace2 Demo樣例地址

本文為技術分析文章，僅供大家學習、研討及交流使用。如在實際應用場景中收集人臉影像，應遵守《個人資訊保護法》《最高人民法院關於審理使用人臉識別技術處理個人資訊相關民事案件適用法律若干問題的規定》等關於處理和保護敏感個人資訊、面部生物識別資訊的規定。

undefined

帶你玩轉OpenHarmony AI：基於Seetaface2的人臉識別

簡介

什麼是SeetaFace2

SeetaFace2能做什麼

SeetaFace2人臉識別原理

兩步帶你實現人臉識別

參考連結

相關文章