人臉識別 — 活體檢測(張嘴搖頭識別)

FBY展菲發表於2018-03-19

一：簡介

最近專案在做了身份證銀行卡識別之後，開始實現人臉識別和活體識別，其中人臉識別包括人臉入庫、人臉查詢、人臉1：N對比、人臉N:N對比，另外活體識別運用在安全登入功能。

大家都熟知的支付寶使用face++ 的服務來實現人臉識別，在實際專案中使用了訊飛的人臉識別SDK進行二次封裝來實現活體識別。主要實現了張嘴和搖頭兩個活體動作的識別。據我所知，訊飛的服務是基於face++,識別率還是很高，並且iOS和Android都對應有封裝好的SDK。

在實際運用中，有很多app為了高度保證使用者使用的安全問題，除了常規的賬號密碼登入之外，相繼實現了指紋登入，手勢登入，第三方登陸（QQ、微信、支付寶）、刷臉登入，接下里我就和大家分享一下如何實現人臉識別的活體檢測，這是實現刷臉登入最基礎的實現。

另外，這些博文都是來源於我日常開發中的技術總結，在時間允許的情況下，我會針對技術點分別分享iOS、Android兩個版本，儘量附上demo以供大家參考，如果有其他技術點需要，可在文章後留言，我會盡全力幫助大家。

二：實現思路分析

點選識別按鈕，呼叫相機
CameraRules類，檢測相機許可權
初始化頁面，建立攝像頁面，建立張嘴資料和搖頭資料
開啟識別，臉部框識別
臉部部位識別，臉部識別判斷是否檢測到人臉
檢測到人臉之後，判斷位置
位置判斷合適，判斷是否張嘴
張嘴判斷完畢，驗證是否搖頭
搖頭判斷完畢，3秒倒數計時拍照
拍照完畢，選擇重拍或者上傳圖片
選擇重拍重複5-9步驟，選擇上傳將圖片資料回撥
資料clean

三：實現原始碼分析

根據實現思路分析，一步步進行編碼實現：

1. 點選識別按鈕，呼叫相機

if([CameraRules isCapturePermissionGranted]){
        [self setDeviceAuthorized:YES];
    }
    else{
        dispatch_async(dispatch_get_main_queue(), ^{
            NSString* info=@"沒有相機許可權";
            [self showAlert:info];
            [self setDeviceAuthorized:NO];
        });
    }
複製程式碼

2. CameraRules類，檢測相機許可權

//檢測相機許可權
+(BOOL)isCapturePermissionGranted{
    if([AVCaptureDevice respondsToSelector:@selector(authorizationStatusForMediaType:)]){
        AVAuthorizationStatus authStatus = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeVideo];
        if(authStatus ==AVAuthorizationStatusRestricted || authStatus ==AVAuthorizationStatusDenied){
            return NO;
        }
        else if(authStatus==AVAuthorizationStatusNotDetermined){
            dispatch_semaphore_t sema = dispatch_semaphore_create(0);
            __block BOOL isGranted=YES;
            [AVCaptureDevice requestAccessForMediaType:AVMediaTypeVideo completionHandler:^(BOOL granted) {
                isGranted=granted;
                dispatch_semaphore_signal(sema);
            }];
            dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);
            return isGranted;
        }
        else{
            return YES;
        }
    }
    else{
        return YES;
    }
}
複製程式碼

3. 初始化頁面，建立攝像頁面，建立張嘴資料和搖頭資料

    //建立攝像頁面，建立張嘴資料和搖頭資料
    [self faceUI];
    [self faceCamera];
    [self faceNumber];
複製程式碼

4. 開啟識別，臉部框識別

    float cx = (left+right)/2;
    float cy = (top + bottom)/2;
    float w = right - left;
    float h = bottom - top;
    float ncx = cy ;
    float ncy = cx ;
    
    CGRect rectFace = CGRectMake(ncx-w/2 ,ncy-w/2 , w, h);
    
    if(!isFrontCamera){
        rectFace=rSwap(rectFace);
        rectFace=rRotate90(rectFace, faceImg.height, faceImg.width);
    }
    
    BOOL isNotLocation = [self identifyYourFaceLeft:left right:right top:top bottom:bottom];
    
    if (isNotLocation==YES) {
        return nil;
    }
複製程式碼

5. 臉部部位識別，臉部識別判斷是否檢測到人臉

    for(id key in keys){
        id attr=[landmarkDic objectForKey:key];
        if(attr && [attr isKindOfClass:[NSDictionary class]]){
            
            if(!isFrontCamera){
                p=pSwap(p);
                p=pRotate90(p, faceImg.height, faceImg.width);
            }
            if (isCrossBorder == YES) {
                [self delateNumber];
                return nil;
            }
            p=pScale(p, widthScaleBy, heightScaleBy);
            
            [arrStrPoints addObject:NSStringFromCGPoint(p)];
            
        }
    }
複製程式碼

6. 檢測到人臉之後，判斷位置動作提醒

    if (right - left < 230 || bottom - top < 250) {
        self.textLabel.text = @"太遠了";
        [self delateNumber];
        isCrossBorder = YES;
        return YES;
    }else if (right - left > 320 || bottom - top > 320) {
        self.textLabel.text = @"太近了";
        [self delateNumber];
        isCrossBorder = YES;
        return YES;
    }else{
        if (isJudgeMouth != YES) {
            self.textLabel.text = @"請重複張嘴動作";
            [self tomAnimationWithName:@"openMouth" count:2];
            
            if (left < 100 || top < 100 || right > 460 || bottom > 400) {
                isCrossBorder = YES;
                isJudgeMouth = NO;
                self.textLabel.text = @"調整下位置先";
                [self delateNumber];
                return YES;
            }
        }else if (isJudgeMouth == YES && isShakeHead != YES) {
            self.textLabel.text = @"請重複搖頭動作";
            [self tomAnimationWithName:@"shakeHead" count:4];
            number = 0;
        }else{
            takePhotoNumber += 1;
            if (takePhotoNumber == 2) {
                [self timeBegin];
            }
        }
        isCrossBorder = NO;
    }
複製程式碼

7. 位置判斷合適，判斷是否張嘴

    if (rightX && leftX && upperY && lowerY && isJudgeMouth != YES) {
        
        number ++;
        if (number == 1 || number == 300 || number == 600 || number ==900) {
            mouthWidthF = rightX - leftX < 0 ? abs(rightX - leftX) : rightX - leftX;
            mouthHeightF = lowerY - upperY < 0 ? abs(lowerY - upperY) : lowerY - upperY;
            NSLog(@"%d,%d",mouthWidthF,mouthHeightF);
        }else if (number > 1200) {
            [self delateNumber];
            [self tomAnimationWithName:@"openMouth" count:2];
        }
        
        mouthWidth = rightX - leftX < 0 ? abs(rightX - leftX) : rightX - leftX;
        mouthHeight = lowerY - upperY < 0 ? abs(lowerY - upperY) : lowerY - upperY;
        NSLog(@"%d,%d",mouthWidth,mouthHeight);
        NSLog(@"張嘴前：width=%d，height=%d",mouthWidthF - mouthWidth,mouthHeight - mouthHeightF);
        if (mouthWidth && mouthWidthF) {
           
            if (mouthHeight - mouthHeightF >= 20 && mouthWidthF - mouthWidth >= 15) {
                isJudgeMouth = YES;
                imgView.animationImages = nil;
            }
        }
    }
複製程式碼

8. 張嘴判斷完畢，驗證是否搖頭

if ([key isEqualToString:@"mouth_middle"] && isJudgeMouth == YES) {
        
        if (bigNumber == 0 ) {
            firstNumber = p.x;
            bigNumber = p.x;
            smallNumber = p.x;
        }else if (p.x > bigNumber) {
            bigNumber = p.x;
        }else if (p.x < smallNumber) {
            smallNumber = p.x;
        }
       
        if (bigNumber - smallNumber > 60) {
            isShakeHead = YES;
            [self delateNumber];
        }
    }
複製程式碼

9. 搖頭判斷完畢，3秒倒數計時拍照

if(timeCount >= 1)
    {
        self.textLabel.text = [NSString  stringWithFormat:@"%ld s後拍照",(long)timeCount];
    }
    else
    {
        [theTimer invalidate];
        theTimer=nil;
        
        [self didClickTakePhoto];
    }
複製程式碼

10. 拍照完畢，選擇重拍或者上傳圖片

-(void)didClickPhotoAgain
{
    [self delateNumber];
    
    [self.previewLayer.session startRunning];
    self.textLabel.text = @"請調整位置";
    
    [backView removeFromSuperview];
    
    isJudgeMouth = NO;
    isShakeHead = NO;
    
}
複製程式碼

11. 選擇重拍重複5-9步驟，選擇上傳將圖片資料回撥

-(void)didClickUpPhoto
{
    //上傳照片成功
    [self.faceDelegate sendFaceImage:imageView.image];
    [self.navigationController popViewControllerAnimated:YES];
}
複製程式碼

12. 資料clean

-(void)delateNumber
{
    number = 0;
    takePhotoNumber = 0;
    
    mouthWidthF = 0;
    mouthHeightF = 0;
    mouthWidth = 0;
    mouthHeight = 0;
    
    smallNumber = 0;
    bigNumber = 0;
    firstNumber = 0;
    
    imgView.animationImages = nil;
    imgView.image = [UIImage imageNamed:@"shakeHead0"];
}
複製程式碼

四：訊飛SDK下載及配置

1. SDK下載

因為專案中使用到訊飛人臉識別SDK，需要去訊飛開放平臺建立應用，下載SDK。

2. 新增系統庫

將開發工具包中lib目錄下的iflyMSC.framework新增到工程中。同時請將Demo中依賴的其他庫也新增到工程中。按下圖示例新增 SDK 所需要的 iOS系統庫：

3. 設定Bitcode

在Targets – Build Settings 中搜尋Bitcode 即可，找到相應選項，設定為NO，如下圖：

4. 使用者隱私許可權配置

在Info.plist 中增加下圖設定：

五：專案實際使用

1. 下載demo

下載demo，將demo中FBYFaceData資料夾引入專案中。

2. 在專案中引入FBYFaceRecognitionViewController

#import "FBYFaceRecognitionViewController.h"
複製程式碼

3. 在專案識別按鈕的點選事件中新增程式碼

-(void)pushToFaceStreamDetectorVC
{
    FBYFaceRecognitionViewController *faceVC = [[FBYFaceRecognitionViewController alloc]init];
    faceVC.faceDelegate = self;
    [self.navigationController pushViewController:faceVC animated:YES];
}
複製程式碼

4. 圖片回撥函式

-(void)sendFaceImage:(UIImage *)faceImage
{
    NSLog(@"圖片上傳成功");
}

- (void)sendFaceImageError {
    NSLog(@"圖片上傳失敗");
}
複製程式碼

本篇文章demo原始碼：

demo原始碼

希望可以幫助大家，如有問題可加QQ技術交流群: 668562416

如果哪裡有什麼不對或者不足的地方，還望讀者多多提意見或建議

如需轉載請聯絡我，經過授權方可轉載，謝謝

本篇已同步到個人部落格：FBY展菲

歡迎關注我的公眾號：網羅開發

人臉識別 -- 活體檢測(張嘴搖頭識別)
2018-03-19
人臉活體檢測人臉識別：眨眼+張口
2022-09-27
人臉識別活體檢測技術理論
2020-10-12
人臉檢測識別，人臉檢測，人臉識別，離線檢測，C#原始碼
2019-02-16
C#原始碼
從零玩轉人臉識別之RGB人臉活體檢測
2021-07-11
OpenCV-Python 人臉眼睛嘴識別
2018-11-13
OpenCVPython
Python人臉識別微笑檢測
2021-12-07
Python
虹軟人臉識別 - faceId及IR活體檢測的介紹
2019-06-19
前端人臉識別--兩張臉相似度
2019-02-23
前端
人臉識別之人臉檢測的重要性
2023-02-24
人臉識別檢測專案實戰
2023-01-03
OCR識別技術—活體檢測
2019-10-29
IOS人臉識別開發入門教程--人臉檢測篇
2017-08-25
iOS
人臉活體檢測
2019-07-18
Android 超簡單整合活體檢測技術快速識別“假臉”
2020-09-22
Android
opencv 人臉識別
2018-11-21
OpenCV
OpenCV — 人臉識別
2017-01-13
OpenCV
一種採用隨機動作指令的人臉活體檢測技術，有效避免人臉識別唄破解
2020-02-27
隨機
人臉檢測之身份識別你需要的那些事
2023-02-28
人臉識別與人體動作識別技術及應用pdf
2018-08-23
計算機視覺專案-人臉識別與檢測
2022-11-01
計算機視覺
40多個關於人臉檢測/識別的API、庫和軟體
2013-05-09
API
一種基於隨機動作指令的人臉活體檢測技術，有效避免人臉識別系統被破解
2020-02-17
隨機
C#人臉識別入門篇-STEP BY STEP人臉識別--入門篇
2021-09-09
C#
智慧人臉識別門禁系統開發,人臉識別開鎖流程
2021-03-31
人臉識別智慧考勤系統開發_人臉識別考勤管理系統開發
2020-05-12
人臉識別之特徵臉方法（Eigenface）
2020-04-06
特徵
如何評價美顏api中人臉識別和人臉檢測的準確度？
2021-11-23
API
人臉識別技術應用
2020-05-11
前端如何玩轉人臉識別
2020-07-16
前端
python—呼叫API人臉識別
2019-03-01
PythonAPI
從零玩轉人臉識別
2022-05-21
人臉識別之Python DLib庫進行人臉關鍵點識別
2019-06-16
Python
NIST：人臉識別供應商測試報告
2020-04-08
測試報告
清華大學人臉識別技術：每秒能認256萬張臉(轉)
2007-09-09
人臉識別和手勢識別應用（face++）開發
2020-06-18
乾貨 | AI人臉識別之人臉搜尋
2019-10-18
AI
中科視拓免費開放口罩人臉檢測與識別技術
2020-03-19