HTML5+tracking.js實現刷臉支付

nd發表於2020-04-16
HTMLJS

最近刷臉支付很火，老闆們當然要追趕時代潮流，於是就有了刷臉支付這個專案。前端實現關鍵的技術是攝像頭錄影，拍照和人臉比對，本文來探討一下如何在html5環境中如何實現刷臉支付以及開發過程中遇到的問題。

1.攝像頭

1.1 input獲取攝像頭

html5中獲取手機上的圖片，有兩種方式，使用input，如下可以開啟攝像頭拍照：

<input type="file" capture="camera" accept="image/*"/>

另外如果想開啟相簿，可以這樣：

<input type="file" accept="img/*">

但是這兩種方式都會有相容性問題，用過的同學可能都知道。

1.2 getUserMedia獲取攝像頭

getUserMedia是html5一個新的api，官方一點的定義是：

MediaDevices.getUserMedia() 會提示使用者給予使用媒體輸入的許可，媒體輸入會產生一個MediaStream，裡面包含了請求的媒體型別的軌道。此流可以包含一個視訊軌道（來自硬體或者虛擬視訊源，比如相機、視訊採集裝置和螢幕共享服務等等）、一個音訊軌道（同樣來自硬體或虛擬音訊源，比如麥克風、A/D轉換器等等），也可能是其它軌道型別。

簡單一點說就是可以獲取到使用者攝像頭。

同上面input一樣，這種方式也有相容性問題，不過可以使用其他方式解決，這裡可以參考MediaDevices.getUserMedia()，文件中有介紹"在舊的瀏覽器中使用新的API"。我這裡在網上也找了一些參考，總結出一個相對全面的getUserMedia版本，程式碼如下：

// 訪問使用者媒體裝置
getUserMedia(constrains, success, error) {
    if (navigator.mediaDevices.getUserMedia) {
        //最新標準API
        navigator.mediaDevices.getUserMedia(constrains).then(success).catch(error);
    } else if (navigator.webkitGetUserMedia) {
        //webkit核心瀏覽器
        navigator.webkitGetUserMedia(constrains).then(success).catch(error);
    } else if (navigator.mozGetUserMedia) {
        //Firefox瀏覽器
        navagator.mozGetUserMedia(constrains).then(success).catch(error);
    } else if (navigator.getUserMedia) {
        //舊版API
        navigator.getUserMedia(constrains).then(success).catch(error);
    } else {
        this.scanTip = "你的瀏覽器不支援訪問使用者媒體裝置"
    }
}

1.3 播放視屏

獲取裝置方法有兩個回撥函式，一個是成功，一個是失敗。成功了就開始播放視訊，播放視屏其實就是給video設定一個url，並呼叫play方法，這裡設定url要考慮不同瀏覽器相容性，程式碼如下：

success(stream) {
    this.streamIns = stream
    // 設定播放地址，webkit核心瀏覽器
    this.URL = window.URL || window.webkitURL
    if ("srcObject" in this.$refs.refVideo) {
        this.$refs.refVideo.srcObject = stream
    } else {
        this.$refs.refVideo.src = this.URL.createObjectURL(stream)
    }
    this.$refs.refVideo.onloadedmetadata = e => {
        // 播放視訊
        this.$refs.refVideo.play()
        this.initTracker()
    }
},
error(e) {
    this.scanTip = "訪問使用者媒體失敗" + e.name + "," + e.message
}

注意：

  1. 播放視屏方法最好寫在onloadmetadata回撥函式中，否則可能會報錯。
  2. 播放視訊的時候出於安全性考慮，必須在本地環境中測試，也就是http://localhost/xxxx中測試，或者帶有https://xxxxx環境中測試，不然的話或有跨域問題。
  3. 下面用到的initTracker()方法也好放在這個onloadedmetadata回撥函式裡，不然也會報錯。

2. 捕捉人臉

2.1 使用tracking.js捕捉人臉

視屏在video中播放成功之後就開始識別人臉了，這裡使用到一個第三方的功能tracking.js，是國外的大神寫的JavaScript影像識別外掛。關鍵程式碼如下：

// 人臉捕捉
initTracker() {
    this.context = this.$refs.refCanvas.getContext("2d")    // 畫布
    this.tracker = new tracking.ObjectTracker(['face'])     // tracker例項
    this.tracker.setStepSize(1.7)                           // 設定步長
    this.tracker.on('track', this.handleTracked)            // 繫結監聽方法
    try {
        tracking.track('#video', this.tracker)      // 開始追蹤
    } catch (e) {
        this.scanTip = "訪問使用者媒體失敗，請重試"
    }
}

捕獲到人臉之後，可以在頁面上用一個小方框標註出來，這樣有點互動效果。

// 追蹤事件
handleTracked(e) {
    if (e.data.length === 0) {
        this.scanTip = '未檢測到人臉'
    } else {
        if (!this.tipFlag) {
            this.scanTip = '檢測成功，正在拍照，請保持不動2秒'
        }
        // 1秒後拍照，僅拍一次
        if (!this.flag) {
            this.scanTip = '拍照中...'
            this.flag = true
            this.removePhotoID = setTimeout(() => {
                this.tackPhoto()
                this.tipFlag = true
            }, 2000)
        }
        e.data.forEach(this.plot)
    }
}

在頁面中畫一些方框，標識出人臉：

<div class="rect" v-for="item in profile"
             :style="{ width: item.width + 'px', height: item.height + 'px', left: item.left + 'px', top: item.top + 'px'}"></div>
// 繪製跟蹤框
plot({x, y, width: w, height: h}) {
    // 建立框物件
    this.profile.push({ width: w, height: h, left: x, top: y })
}

2.2 拍照

拍照，就是使用video作為圖片源，在canvas中儲存一張圖片下來，注意這裡使用toDataURL方法的時候可以設定第二個引數quality，從0到1，0表示圖片比較粗糙，但是檔案比較小，1表示品質最好。

// 拍照
tackPhoto() {
    this.context.drawImage(this.$refs.refVideo, 0, 0, this.screenSize.width, this.screenSize.height)
    // 儲存為base64格式
    this.imgUrl = this.saveAsPNG(this.$refs.refCanvas)
    // this.compare(imgUrl)
    this.close()
},
// Base64轉檔案
getBlobBydataURI(dataURI, type) {
    var binary = window.atob(dataURI.split(',')[1]);
    var array = [];
    for(var i = 0; i < binary.length; i++) {
        array.push(binary.charCodeAt(i));
    }
    return new Blob([new Uint8Array(array)], {
        type: type
    });
},
// 儲存為png,base64格式圖片
saveAsPNG(c) {
    return c.toDataURL('image/png', 0.3)
}

拍照完成之後就可以把檔案傳送給後端，讓後端進行對比驗證，這裡後端使用的是阿里雲的介面。

3. 最後效果

3.1 參考程式碼demo

最後，demo我已經放在github上了，感興趣可以開啟看一下。

效果如下：

3.2 在專案中落地

最後放在專案中，無非就是最後一個步驟，去呼叫介面比對，根據比對結果成功是成功還是失敗，決定是人臉支付還是繼續使用原來的密碼支付，效果如下：

ps：這裡人臉比對失敗了，是因為我帶著口罩，就不呲牙露臉了。後端呼叫阿里雲的介面地址：https://help.aliyun.com/document_detail/154615.html?spm=a2c4g.11186623.6.625.632a37b9brzAoi

 

相關文章