基於Java實現的人臉識別功能,一切都為了寵粉(附原始碼)

程式設計師內點事發表於2020-03-11

引言

遠端在家辦公的第N天,快要閒出屁了,今天突然有個小學弟加我VX說要諮詢我點技術問題(終於可以裝X了)。 看了他的需求描述,大概是要做一個Java web版本的人臉識別功能,然後儲存人物的特徵,再掃臉比對。可是我不會啊。。。

不過,作為一個寵粉的暖男,別說有困難就是沒困難製造困難也要上,既然人家這麼真誠的諮詢,說明我還是有被需要的價值,不會那就幫著查查資料吧!沒想到還有意外的收穫~

在這裡插入圖片描述
看完他的境遇,忽然想起自己當年做畢設時那無助的樣子,是何等的相似。每每看到有這樣的諮詢,能幫的我都儘自己最大努力幫,畢竟都是這麼走過來的。


人臉識別SDK

人臉識別技術是很複雜的,自己用Java手撕一個識別演算法有點不切實際,畢竟實力不允許我這麼囂張,還是藉助三方的SDK吧!

找了一圈發現一個免費的人臉識別SDK: ArcSoft:,地址:https://ai.arcsoft.com.cn

官網首頁 -> 右上角開發者中心 -> 選擇“人臉識別” -> 新增SDK,會生成APPIDSDK KEY後續會用到,根據需要選擇不同的環境(本文基於windows環境),然後下載SDK是一個壓縮包。

在這裡插入圖片描述

Java專案搭建

終於在我的苦苦搜尋之下終於,找到一個ArcSoftJava版本Demo,開源真是一件美好的事情,話不多說開幹!

在這裡插入圖片描述
1、下載demo專案

github地址:https://github.com/xinzhfiu/ArcSoftFaceDemo,本地搭建資料庫,建立表:user_face_info。這個表主要用來存人像特徵,其中主要的欄位 face_feature 用二進位制型別 blob 存放人臉特徵。


SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for user_face_info
-- ----------------------------
DROP TABLE IF EXISTS `user_face_info`;
CREATE TABLE `user_face_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主鍵',
  `group_id` int(11) DEFAULT NULL COMMENT '分組id',
  `face_id` varchar(31) DEFAULT NULL COMMENT '人臉唯一Id',
  `name` varchar(63) DEFAULT NULL COMMENT '名字',
  `age` int(3) DEFAULT NULL COMMENT '年紀',
  `email` varchar(255) DEFAULT NULL COMMENT '郵箱地址',
  `gender` smallint(1) DEFAULT NULL COMMENT '性別,1=男,2=女',
  `phone_number` varchar(11) DEFAULT NULL COMMENT '電話號碼',
  `face_feature` blob COMMENT '人臉特徵',
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立時間',
  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新時間',
  `fpath` varchar(255) COMMENT '照片路徑',
  PRIMARY KEY (`id`) USING BTREE,
  KEY `GROUP_ID` (`group_id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC;
SET FOREIGN_KEY_CHECKS = 1;
複製程式碼

2、修改application.properties檔案

整個專案還是比較完整的,只需改一些配置即可啟動,但有幾點注意的地方,後邊會重點說明。

config.arcface-sdk.sdk-lib-path: 存放SDK壓縮包中的三個.dll檔案的路徑

config.arcface-sdk.app-id : 開發者中心的APPID

config.arcface-sdk.sdk-key :開發者中心的SDK Key

config.arcface-sdk.sdk-lib-path=d:/arcsoft_lib
config.arcface-sdk.app-id=8XMHMu71Dmb5UtAEBpPTB1E9ZPNTw2nrvQ5bXxBobUA8
config.arcface-sdk.sdk-key=BA8TLA9vVwK7G6btJh2A2FCa8ZrC6VWZLNbBBFctCz5R

# druid  本地的資料庫地址
spring.datasource.druid.url=jdbc:mysql://127.0.0.1:3306/xin-master?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC
spring.datasource.druid.username=junkang
spring.datasource.druid.password=junkang
複製程式碼

3、根目錄建立lib資料夾

在專案根目錄建立資料夾 lib,將下載的SDK壓縮包中的arcsoft-sdk-face-2.2.0.1.jar放入專案根目錄

在這裡插入圖片描述

4、引入arcsoft依賴包

 <dependency>
      <groupId>com.arcsoft.face</groupId>
      <artifactId>arcsoft-sdk-face</artifactId>
      <version>2.2.0.1</version>
      <scope>system</scope>
      <systemPath>${basedir}/lib/arcsoft-sdk-face-2.2.0.1.jar</systemPath>
</dependency>

複製程式碼

pom.xml檔案要配置includeSystemScope屬性,否則可能會導致arcsoft-sdk-face-2.2.0.1.jar引用不到

 <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <includeSystemScope>true</includeSystemScope>
                    <fork>true</fork>
                </configuration>
            </plugin>
        </plugins>
    </build>
複製程式碼

5、啟動專案

到此為止配置完成,run Application檔案啟動

測試一下:http://127.0.0.1:8089/demo,如下頁面即啟動成功

在這裡插入圖片描述

操作

1、錄入人臉影像

頁面輸入名稱,點選攝像頭註冊調起本地攝像頭,提交後將當前影像傳入後臺,識別提取當前人臉體徵,儲存至資料庫。

在這裡插入圖片描述
2、人臉對比

錄入完人臉影像後測試一下能否識別成功,提交當前的影像,發現識別成功相似度92%。但是作為程式設計師對什麼事情都要持懷疑的態度,這結果不是老鐵在頁面寫死的吧?

在這裡插入圖片描述
為了進一步驗證,這回把臉擋住再試一下,發現提示“人臉不匹配”,證明真的有進行比對。
在這裡插入圖片描述

原始碼分析

簡單看了一下專案原始碼,分析一下實現的過程:

頁面和JS一看就是後端程式設計師寫的,不要問我問為什麼?懂的自然懂,哈哈哈 ~ ,

1、JS調起本地攝像頭拍照,上傳圖片檔案字串

    function getMedia() {
        $("#mainDiv").empty();
        let videoComp = " <video id='video' width='500px' height='500px' autoplay='autoplay' style='margin-top: 20px'></video><canvas id='canvas' width='500px' height='500px' style='display: none'></canvas>";
        $("#mainDiv").append(videoComp);

        let constraints = {
            video: {width: 500, height: 500},
            audio: true
        };
        //獲得video攝像頭區域
        let video = document.getElementById("video");
        //這裡介紹新的方法,返回一個 Promise物件
        // 這個Promise物件返回成功後的回撥函式帶一個 MediaStream 物件作為其引數
        // then()是Promise物件裡的方法
        // then()方法是非同步執行,當then()前的方法執行完後再執行then()內部的程式
        // 避免資料沒有獲取到
        let promise = navigator.mediaDevices.getUserMedia(constraints);
        promise.then(function (MediaStream) {
            video.srcObject = MediaStream;
            video.play();
        });

        // var t1 = window.setTimeout(function() {
        //     takePhoto();
        // },2000)
    }
//拍照事件
    function takePhoto() {
        let mainComp = $("#mainDiv");
        if(mainComp.has('video').length)
        {
            let userNameInput = $("#userName").val();
            if(userNameInput == "")
            {
                alert("姓名不能為空!");
                return false;
            }
            //獲得Canvas物件
            let video = document.getElementById("video");
            let canvas = document.getElementById("canvas");
            let ctx = canvas.getContext('2d');
            ctx.drawImage(video, 0, 0, 500, 500);
            var formData = new FormData();
            var base64File = canvas.toDataURL();
            var userName = $("#userName").val();
            formData.append("file", base64File);
            formData.append("name", userName);
            formData.append("groupId", "101");
            $.ajax({
                type: "post",
                url: "/faceAdd",
                data: formData,
                contentType: false,
                processData: false,
                async: false,
                success: function (text) {
                    var res = JSON.stringify(text)
                    if (text.code == 0) {
                        alert("註冊成功")
                    } else {
                        alert(text.message)
                    }
                },
                error: function (error) {
                    alert(JSON.stringify(error))
                }
            });
        }
        else{
            var formData = new FormData();
            let userName = $("#userName").val();
            formData.append("groupId", "101");
            var file = $("#file0")[0].files[0];
            var reader = new FileReader();
            reader.readAsDataURL(file);
            reader.onload = function () {
            var base64 = reader.result;
            formData.append("file", base64);
            formData.append("name",userName);
                $.ajax({
                    type: "post",
                    url: "/faceAdd",
                    data: formData,
                    contentType: false,
                    processData: false,
                    async: false,
                    success: function (text) {
                        var res = JSON.stringify(text)
                        if (text.code == 0) {
                            alert("註冊成功")
                        } else {
                            alert(text.message)
                        }
                    },
                    error: function (error) {
                        alert(JSON.stringify(error))
                    }
                });
                location.reload();
            }
        }

    }
複製程式碼

2、後臺解析圖片,提取人像特徵

後臺解析前端傳過來的圖片,提取人像特徵存入資料庫,人像特徵的提取主要是靠FaceEngine引擎,順著原始碼一路看下去,自己才疏學淺實在是沒懂具體是個什麼樣的演算法。

 /*
    人臉新增
     */
    @RequestMapping(value = "/faceAdd", method = RequestMethod.POST)
    @ResponseBody
    public Result<Object> faceAdd(@RequestParam("file") String file, @RequestParam("groupId") Integer groupId, @RequestParam("name") String name) {

        try {
       
            //解析圖片
            byte[] decode = Base64.decode(base64Process(file));
            ImageInfo imageInfo = ImageFactory.getRGBData(decode);

            //人臉特徵獲取
            byte[] bytes = faceEngineService.extractFaceFeature(imageInfo);
            if (bytes == null) {
                return Results.newFailedResult(ErrorCodeEnum.NO_FACE_DETECTED);
            }

            UserFaceInfo userFaceInfo = new UserFaceInfo();
            userFaceInfo.setName(name);
            userFaceInfo.setGroupId(groupId);
            userFaceInfo.setFaceFeature(bytes);
            userFaceInfo.setFaceId(RandomUtil.randomString(10));

            //人臉特徵插入到資料庫
            userFaceInfoService.insertSelective(userFaceInfo);

            logger.info("faceAdd:" + name);
            return Results.newSuccessResult("");
        } catch (Exception e) {
            logger.error("", e);
        }
        return Results.newFailedResult(ErrorCodeEnum.UNKNOWN);
    }
複製程式碼

3、人像特徵對比

人臉識別:將前端傳入的影像經過人像特徵提取後,和庫中已存在的人像資訊對比分析

/*
    人臉識別
     */
    @RequestMapping(value = "/faceSearch", method = RequestMethod.POST)
    @ResponseBody
    public Result<FaceSearchResDto> faceSearch(String file, Integer groupId) throws Exception {
        byte[] decode = Base64.decode(base64Process(file));
        BufferedImage bufImage = ImageIO.read(new ByteArrayInputStream(decode));
        ImageInfo imageInfo = ImageFactory.bufferedImage2ImageInfo(bufImage);

        //人臉特徵獲取
        byte[] bytes = faceEngineService.extractFaceFeature(imageInfo);
        if (bytes == null) {
            return Results.newFailedResult(ErrorCodeEnum.NO_FACE_DETECTED);
        }
        //人臉比對,獲取比對結果
        List<FaceUserInfo> userFaceInfoList = faceEngineService.compareFaceFeature(bytes, groupId);

        if (CollectionUtil.isNotEmpty(userFaceInfoList)) {
            FaceUserInfo faceUserInfo = userFaceInfoList.get(0);
            FaceSearchResDto faceSearchResDto = new FaceSearchResDto();
            BeanUtil.copyProperties(faceUserInfo, faceSearchResDto);
            List<ProcessInfo> processInfoList = faceEngineService.process(imageInfo);
            if (CollectionUtil.isNotEmpty(processInfoList)) {
                //人臉檢測
                List<FaceInfo> faceInfoList = faceEngineService.detectFaces(imageInfo);
                int left = faceInfoList.get(0).getRect().getLeft();
                int top = faceInfoList.get(0).getRect().getTop();
                int width = faceInfoList.get(0).getRect().getRight() - left;
                int height = faceInfoList.get(0).getRect().getBottom() - top;

                Graphics2D graphics2D = bufImage.createGraphics();
                graphics2D.setColor(Color.RED);//紅色
                BasicStroke stroke = new BasicStroke(5f);
                graphics2D.setStroke(stroke);
                graphics2D.drawRect(left, top, width, height);
                ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
                ImageIO.write(bufImage, "jpg", outputStream);
                byte[] bytes1 = outputStream.toByteArray();
                faceSearchResDto.setImage("data:image/jpeg;base64," + Base64Utils.encodeToString(bytes1));
                faceSearchResDto.setAge(processInfoList.get(0).getAge());
                faceSearchResDto.setGender(processInfoList.get(0).getGender().equals(1) ? "女" : "男");

            }

            return Results.newSuccessResult(faceSearchResDto);
        }
        return Results.newFailedResult(ErrorCodeEnum.FACE_DOES_NOT_MATCH);
    }
複製程式碼

整個人臉識別功能的大致流程圖如下:

在這裡插入圖片描述

總結

整個專案的設計思路比較清晰,難點在於人臉識別引擎前端JS部分程式碼,其他的功能比較平常。

原始碼地址:github.com/xinzhfiu/Ar…


今天就說這麼多,如果本文對您有一點幫助,希望能得到您一個點贊?哦

您的認可才是我寫作的動力!

更多優選


整理了一些Java方面的架構、面試資料(微服務、叢集、分散式、中介軟體等),有需要的小夥伴可以關注公眾號【程式設計師內點事】,無套路自行領取

基於Java實現的人臉識別功能,一切都為了寵粉(附原始碼)

相關文章