AR技術已經被廣泛應用於營銷、教育、遊戲、展覽等場景。透過2D影像跟蹤技術和3D物體跟蹤技術，使用者只需使用一臺手機進行拍攝，即可實現海報、卡牌等平面物體以及文物、手辦等立體物體的AR效果。儘管近年來2D影像跟蹤和3D物體跟蹤演算法已經取得了很大的進步，但受限於環境等因素影響，效果仍然有很大提升空間，是目前AR開發者的研發難點。

HMS Core [AR Engine](https://developer.huawei.com/consumer/cn/hms/huawei-arengine/?ha_source=hms1)提供了2D影像和3D物體的端雲協同跟蹤技術，讓開發者更簡單便捷地開發AR類應用，讓使用者擁有更豐富的AR互動體驗。

### 2D影像跟蹤技術

端雲協同2D影像實時跟蹤技術已率先應用於Bilibili會員購，購物者在選購時能夠瀏覽商品的AR特效，多角度、近距離地與IP衍生商品實現互動，從而獲得全新的AR購物體驗。據會員購後臺資料統計，具備AR特效的商品銷量更好，AR活動參與率是普通遊戲參與率的2倍左右，助力會員購平臺收入提升。

![](https://oscimg.oschina.net/oscnet/up-1cc979d218c5fb5f2350b5ab17004fb177b.gif)

圖1. Bilibili會員購效果圖

傳統的純端側2D影像跟蹤方案，如果開發者要讓新的圖片支援AR特效就必須更新應用版本，有較高的版本維護成本，而且隨著支援AR特性圖片的增加，應用的體積也會不斷增大。為此，AR Engine採用端雲協同的架構解決該問題，開發者僅需將圖片上傳到雲端即可快速釋出新圖片的AR特效，端側應用版本無需更新，應用體積也不會因此而增加。

![](https://oscimg.oschina.net/oscnet/up-ca175d07795d9787bdbe6b8eb47278cf365.png)

圖2. 端雲協同2D影像跟蹤技術原理圖

端雲協同2D影像跟蹤技術主要涵蓋了：

雲側影像特徵提取模組

雲側向量檢索引擎

端側視覺跟蹤模組

在提升雲端服務的響應速度方面，端雲協同2D影像跟蹤技術利用硬體平臺加速，開發了軟硬協同的高效能向量檢索引擎，實現海量特徵下的毫秒級檢索響應。

### 3D物體跟蹤技術

在文物介紹、商品展示、AR教育等場景，AR Engine還提供了端雲協同3D物體實時跟蹤技術。該技術能夠實現3D物體全息式資訊展示效果

![](https://oscimg.oschina.net/oscnet/up-ae62a9aaa5c0f54acade8af19902d2bfed7.gif)

圖3. 端雲協同3D物體實時跟蹤技術效果圖

現實生活中，會存在不同紋理材質的3D物體，例如雕塑類的純色弱紋理材質，或者金屬器皿類的反光現象，3D物體也會受光線變化導致表面出現陰影，這些場景都對3D物體跟蹤帶來很大的挑戰。為了實現在各種場景下均能快速準確的進行識別跟蹤，AR Engine使用多個AI網路組合完成3D識別定位功能，分別完成物件檢測、位姿粗定位、位姿最佳化。

![](https://oscimg.oschina.net/oscnet/up-c1882a93d102ccf02e0a72670280b2484d5.png)

圖4. 端雲協同3D物體跟蹤技術原理圖

端雲協同3D物體實時跟蹤技術主要涵蓋了：

雲側訓練樣本AI合成模組

雲側AI網路自動訓練模組

雲側AI網路推理模組

端側視覺跟蹤模組

在對AI網路進行演算法訓練時，傳統的訓練樣本人工標註方式，往往存在工作量大、開發週期長等問題。為此，AR Engine結合海量的離線資料和對抗生成策略，設計了訓練樣本的AI合成演算法，能夠免人工標註，僅依賴合成樣本就可以實現複雜場景下3D物體的精準識別。

端雲協同3D物體跟蹤技術在文物介紹場景，已助力華為河圖為莫高窟實現全息式文旅導遊體驗，幫助遊客隨時探究洞窟的內部細節。

![](https://oscimg.oschina.net/oscnet/up-bdb06f30bd082d1c71ee9f33171b03a0f3b.gif)

圖5. 華為河圖的莫高窟全息式文旅導遊效果圖

以上技術來自華為2012中央媒體技術院，透過AR Engine面向開發者開放，在廣告營銷、教育、文旅等場景為使用者帶來差異化的AR體驗。

更多AR技術的資訊，歡迎收看5月27日19:00-20:00 HMS Core Discovery第15期直播，讓我們一起探索HMS Core AR Engine是如何幫助開發者們構築立體世界，打造沉浸式營銷的服務體驗。

歡迎訪問華為開發者聯盟官網-[HMS Core AR Engine](https://developer.huawei.com/consumer/cn/hms/huawei-arengine/?ha_source=hms1)

**瞭解更多詳情>>**

訪問[華為開發者聯盟官網](http://developer.huawei.com/consumer/cn/hms?ha_source=hms1)  
獲取[開發指導文件](http://developer.huawei.com/consumer/cn/doc/development?ha_source=hms1)  
華為移動服務開源倉庫地址：[GitHub](http://github.com/HMS-Core)、[Gitee](http://gitee.com/hms-core)

**關注我們，第一時間瞭解 HMS Core 最新技術資訊~**

HMS Core AR Engine 2D圖片/3D物體跟蹤技術助力打造更智慧AR互動體驗

相關文章

HMS Core AR Engine 2D圖片/3D物體跟蹤技術 助力打造更智慧AR互動體驗

相關文章

HMS Core AR Engine 2D圖片/3D物體跟蹤技術助力打造更智慧AR互動體驗