現如今， AR技術不斷髮展，人們不再滿足於運用鍵盤、滑鼠等簡單器械來實現傳統的人機互動模式。隨著使用者接觸機器的多樣化，繁瑣的操作不但對一些使用者有門檻，而且還增加其學習成本；如果能用自然且符合日常生活習慣的人機互動模式，不僅更好上手，也能讓開發者們在應用內開發更多玩法。比如在影片直播或者拍照過程中，一個手勢就能增加相應的貼紙或特效，豐富互動體驗；面對智慧家電等硬體裝置時，透過不同的手勢可以控制對應的功能。

那麼，應用如何才能實現更自然的人機和互動呢？

華為HMS Core [AR Engine](https://developer.huawei.com/consumer/cn/hms/huawei-arengine/?ha_source=hms1)提供多種特定手勢的識別，輸出識別到的手勢類別結果並給出手掌檢測框螢幕座標，左手和右手均可支援。當影像中出現多隻手時，只反饋單手（最清晰且置信度最高）識別結果和座標資訊。支援前後置相機切換。

透過手勢識別能力，可將虛擬物體疊加到人的手部位置，並根據不同的手勢變化來啟用某些狀態的切換，給開發者的AR應用提供基礎的互動功能。

不僅如此[，AR Engine](https://developer.huawei.com/consumer/cn/hms/huawei-arengine/?ha_source=hms1)的手部跟蹤功能能識別和跟蹤21個手部關節點的位置和姿態，形成手部骨骼模型，並可分辨左右手，同時提供單手關節點和骨骼識別能力，輸出手指端點、手部骨骼等手部高階特徵。

透過手部骨骼識別能力，開發者們可將虛擬物體疊加到更為精確的手部位置，例如手指尖、手掌心等；利用手部骨骼，能驅動虛擬手做出更為豐富和精細的動作，給開發者們的AR應用提供增強的互動功能和難以置信的新奇玩法。

### 整合步驟

#### 開發環境要求：

JDK 1.8.211及以上。

安裝Android Studio 3.0及以上：

minSdkVersion 26及以上

targetSdkVersion 29（推薦）

compileSdkVersion 29（推薦）

Gradle 6.1.1及以上（推薦）

在華為終端裝置上的應用市場下載AR Engine服務端APK（需在華為應用市場，搜尋“華為AR Engine”）並安裝到終端裝置。

測試應用的裝置：參見[AREngine特性軟硬體依賴表](https://developer.huawei.com/consumer/cn/doc/development/graphics-Guides/features-0000001060501339?ha_source=hms1)。如果同時使用多個HMS Core的服務，則需要使用各個Kit對應的最大值。

#### 開發準備

1. 在開發應用前需要在[華為開發者聯盟網站](https://developer.huawei.com/consumer/cn/?ha_source=hms1)上註冊成為開發者並完成實名認證，具體方法請參見[帳號註冊認證。](https://developer.huawei.com/consumer/cn/doc/start/registration-and-verification-0000001053628148?ha_source=hms1)

2. 華為提供了Maven倉整合方式的AR Engine SDK包，在開始開發前，需要將AR Engine SDK整合到您的開發環境中。

3. Android Studio的程式碼庫配置在Gradle外掛7.0以下版本、7.0版本和7.1及以上版本有所不同。請根據您當前的Gradle外掛版本，選擇對應的配置過程。

4. 以7.0為例：

開啟Android Studio專案級“build.gradle”檔案，新增Maven程式碼庫。

在“buildscript > repositories”中配置HMS Core SDK的Maven倉地址。

```
buildscript {
    	repositories {
        	google()
        	jcenter()
        	maven {url "https://developer.huawei.com/repo/" }
    	}
}
```

開啟專案級“settings.gradle”檔案，配置HMS Core SDK的Maven倉地址。

```
dependencyResolutionManagement {
    repositoriesMode.set(RepositoriesMode.FAIL_ON_PROJECT_REPOS)
    		repositories {
       			 repositories {
           			 	google()
            			jcenter()
            			maven {url "https://developer.huawei.com/repo/" }
       			 }
   			 }
}
```

5. 新增依賴 在“dependencies”中新增如下編譯依賴：

```
dependencies {
    implementation 'com.huawei.hms:arenginesdk:{version}
}
```

#### 應用開發

1.執行前驗證：檢查當前裝置是否安裝了AR Engine，若已經安裝則正常執行，若沒有安裝，App應採用合適的方式提醒使用者安裝AR Engine，如主動跳轉應用市場，請求安裝AR Engine。具體實現程式碼如下：

```
boolean isInstallArEngineApk =AREnginesApk.isAREngineApkReady(this);
if (!isInstallArEngineApk) {
    		// ConnectAppMarketActivity.class為跳轉應用市場的Activity。
startActivity(new Intent(this, com.huawei.arengine.demos.common.ConnectAppMarketActivity.class));
   		isRemindInstall = true;
}
```

2.初始化AR場景：AREngine提供5種場景，包括運動跟蹤（ARWorldTrackingConfig）、人臉跟蹤（ARFaceTrackingConfig）、手部識別（ARHandTrackingConfig）、人體跟蹤（ARBodyTrackingConfig）和影像識別（ARImageTrackingConfig）。

呼叫ARHandTrackingConfig介面，初始化手部識別。

```
mArSession = new ARSession(context);
ARHandTrackingConfig config = new ARHandTrackingconfig(mArSession);
```

3. 獲取到ARhandTrackingconfig後，可以設定使用相機的前置或者後置等等一些可選的方法：

```
Config.setCameraLensFacing(ARConfigBase.CameraLensFacing.FRONT);
```

4. 你需要把你獲取到的手部識別獲取到的config配置到ArSession中，然後啟動手部識別場景：

```
mArSession.configure(config);
mArSession.resume();
```

5. 初始化HandSkeletonLineDisplay類，此類是根據手骨架點的座標來繪製手骨架線：

```
Class HandSkeletonLineDisplay implements HandRelatedDisplay{
//此類需要幾個方法
//初始化方法
public void init(){
}
//繪製手骨架點的方法,這裡需要傳入ARHand物件，用來獲取資料
public void onDrawFrame(Collection<arhand> hands,){

//呼叫getHandskeletonArray()方法用來獲取手部關節點座標資料
        Float[] handSkeletons  =  hand.getHandskeletonArray();

//把handSkeletons傳入到實時更新資料方法中
        updateHandSkeletonsData(handSkeletons);

}
//更新骨架點的連線資料，在更新任何幀的時候呼叫此方法
public void updateHandSkeletonLinesData(){

//用來建立並初始化緩衝區物件的資料儲存
GLES20.glBufferData(…,mVboSize,…);

//用來更新緩衝區物件中的資料
GLES20.glBufferSubData(…,mPointsNum,…);

}
}
```

6. 初始化HandRenderManager類，此類是來渲染從HUAWEI AREngine獲取的資料。

```
Public class HandRenderManager implements GLSurfaceView.Renderer{
	
	//設定ARSession物件，用於獲取onDrawFrame方法中的最新資料。
	Public void setArSession(){
	}
}
```

7. 在HandRenderManager類中，初始化onDrawFrame()方法:

```
Public void onDrawFrame(){
//在這個方法中呼叫了setCameraTextureName(),update()等方法用來更新ArEngine的計算結果
//應用在獲取到最新資料時來呼叫此介面。
mSession.setCameraTextureName();
ARFrame arFrame = mSession.update();
ARCamera arCamera = arFrame.getCamera();
//獲取人體手部跟蹤時返回的跟蹤結果 
Collection<arhand> hands =  mSession.getAllTrackables(ARHand.class);
     //把獲取到的hands物件迴圈傳入更新手勢識別資訊方法中,進行處理
     For(ARHand hand  :  hands){
         updateMessageData(hand);
}
}
```

8.最後在展示效果的HandActivity頁面,給SurfaceView 設定渲染器。

```
mSurfaceView.setRenderer(mHandRenderManager);
設定渲染模式
mSurfaceView.setRenderMode(GLEurfaceView.RENDERMODE_CONTINUOUSLY);
```

具體實現可參考[示例程式碼](https://developer.huawei.com/consumer/cn/doc/development/graphics-Examples/sample-code-0000001050148898?ha_source=hms1)。

**瞭解更多詳情>>**

訪問[華為開發者聯盟官網](http://developer.huawei.com/consumer/cn/hms?ha_source=hms1)  
獲取[開發指導文件](http://developer.huawei.com/consumer/cn/doc/development?ha_source=hms1)  
華為移動服務開源倉庫地址：[GitHub](http://github.com/HMS-Core)、[Gitee](http://gitee.com/hms-core)

**關注我們，第一時間瞭解 HMS Core 最新技術資訊~**</arhand></arhand>

AR手勢識別互動，讓應用更加“得心應手”

相關文章