谷歌推出基於AI的開源手勢識別演算法，可識別單手21個骨骼點

8月20日訊息，谷歌釋出全新的手勢識別技術，該技術整合於開源跨平臺框架MediaPipe（可為多種型別的感知資料構建處理流程），特點是採用機器學習技術，支援高準確性手勢和五指追蹤， 可根據一幀影像推斷出單手的21個立體節點。與目前市面上較先進的手勢識別技術相比，谷歌的全新技術 不需要依賴桌上型電腦來計算，而是在手機上就能進行實時追蹤，並且還能同時追蹤多隻手，可識別遮擋。

據谷歌稱，該手勢識別技術可形成對基礎手語的理解，以及對手勢操控的支援，還可用於AR。而為了訓練識別手勢的機器學習演算法，谷歌採用了一個由3個模型組成的框架，包括：手掌識別模型BlazePalm（用於識別手的整體框架和方向）、Landmark模型（識別立體手部節點）、手勢識別模型（將識別到的節點分類成一系列手勢）。其中BlazePalm可為Landmark模型提供準確建材的手掌影像，這大大降低了對旋轉、轉化和縮放等資料增強方式的依賴，讓演算法將更多計算能力用在提高預測準確性上。

接下來，我們來一一解釋下每個模型的具體細節。

BlazePalm：這是一個可識別單幀影像的模型，主要用於識別手掌初始位置，與用於識別面部的BlazeFace模型相似，都對移動端的實時識別進行了最佳化。BlazePalm可識別多種不同手掌大小，具備較大的縮放範圍（~20倍），還能識別手部遮擋，並且能透過對手臂、軀幹或個人特徵等的識別來準確定位手部，彌補手部對於高對比度紋理特徵的缺失。

在經過訓練後，BlazePalm對於手掌識別的準確率可達95.7%。

Landmark模型：這一模型根據迴歸的方式，在BlazePalm識別到的手掌範圍內可識別到21個立體節點座標，它的識別效果足夠好，甚至可以識別部分可見或自我遮擋的手部。

為了訓練Landmark模型，谷歌還在真實資料中混合額外的人工合成手掌模型資料。在經過訓練後，演算法的平均迴歸誤差可降低到13.4%。

手勢識別模型：該演算法模型可根據關節的的角度識別每根手指的狀態，如：彎曲或伸直。接著， 它會將每根手指的狀態對映到的預定義的手勢上，並透過這種方法來預測基礎的靜態手勢。據悉，谷歌現有的預定義手勢包括美國、歐洲和中國三個國家的不同數數手勢，以及豎大拇指、握拳、OK、“蜘蛛俠”等手勢。

目前，谷歌的這款全新手勢識別演算法將透過MediaPipe框架進行開源，並希望透過這種方法讓研究人員和開發者創作出有創意的應用場景和研究途徑。而接下來，谷歌將繼續提高這項手勢識別技術，增加可識別的手勢，並將增加對動態手勢的識別。