融合虛擬與現實,AR Engine為使用者提供沉浸式互動體驗

HarmonyOS_SDK發表於2024-11-08

當今的應用市場中,傳統的應用產品已經難以完全滿足消費者的多樣化需求。為了在競爭激烈的市場中脫穎而出,企業需要深入洞察使用者需求,提供個性化的服務體驗和差異化的產品創新,以吸引並留住消費者。

比如,購物類App透過虛實結合的方式實現虛擬穿搭;室內設計行業App可將虛擬傢俱模型放置於現實環境中給使用者演示;遊戲行業App可將虛擬遊戲畫面放置於現實環境中,從而提供給使用者更沉浸式的遊戲體驗。

以上創新化的應用場景,都依賴於一項核心的技術能力,即擴增實境(AR)技術,HarmonyOS SDK AR引擎服務(AR Engine)正好具備這樣的能力。
AR Engine是一個用於在HarmonyOS上構建擴增實境應用的引擎,基於計算機實時計算和多感測器的結合,可以透過裝置攝像頭將虛擬物體逼真地疊加到現實場景中,讓應用實現虛擬世界與現實世界的融合,為使用者提供全新的視覺體驗和互動方式。

AR Engine提供了運動跟蹤、環境跟蹤和命中檢測等空間計算能力,開發者可以藉助這些能力實現如AR導航、AR測量和AR擺放等應用,為使用者提供虛實融合的全新互動體驗。

運動跟蹤能力

運動跟蹤能力統一了虛擬座標系和現實座標系,是實現虛擬物體與現實環境逼真融合的基礎能力。

AR Engine使用運動跟蹤能力透過終端裝置攝像頭標識特徵點,並跟蹤其移動變化,同時將這些點的移動變化與終端裝置慣性感測器結合,來不斷跟蹤終端裝置的位置和姿態。透過持續跟蹤裝置相對於周圍環境的位置和姿態變化軌跡,建立了虛擬數字世界和現實物理世界統一的幾何空間座標系,從而實現裝置在不同視角和距離情況下,虛擬物體保持與真實環境幾何的一致性,開發者可從觀察者視角將渲染的虛擬物體疊加到攝像頭影像中,實現虛實融合。

比如AR Engine應用在AR車展上時,使用者可透過轉動裝置攝像頭從不同角度來檢視虛擬汽車模型,實現沉浸式的AR觀展,這裡就用到了運動跟蹤的能力。

環境跟蹤

AR Engine環境跟蹤能力可以快速識別出現實場景中的平面資訊,並識別出對應的平面型別和形狀等資訊,從而輔助應用實現數字虛擬物體以場景化的方式融入現實物理世界中。環境跟蹤主要包括平面檢測、平面語義、目標語義三個能力。

平面檢測

平面檢測能力可透過識別水平和垂直平面上的成群特徵點以及平面的邊界,得到現實世界中的平面資訊,例如地面或牆面。檢測到這些平面後,應用可基於平面來放置虛擬物體,或進行導航等應用場景的開發。

平面語義

平面語義是指檢測現實世界平面的型別,當前支援的平面型別共8種,分別為:牆面、地面、座椅面、桌面、天花板、門面、窗面、床面。

目標語義

目標語義是指當目標物體位於平面上時,檢測目標物體的形狀,當前包括矩形和圓形。

命中檢測

命中檢測技術可以幫助AR Engine實現虛實世界兩點之間的連線。AR Engine透過命中檢測技術,獲取興趣點到AR世界興趣點的對映關係,開發者可以基於此能力幫助使用者實現與AR世界中虛擬物體的互動。


命中檢測能力示意圖

在實際應用場景中,使用者可點選終端裝置螢幕,選中現實環境中的興趣點,AR應用呼叫碰撞檢測介面獲取AR世界的興趣點並返回相關資訊,使用者即可在終端裝置螢幕所展示的AR世界興趣點上完成模型放置等互動動作,比如使用者可以透過攝像頭將虛擬傢俱放置於現實室內環境中,並從各個角度觀察判斷傢俱是否符合整體設計,從而減少大件商品的購買出錯率。

運動跟蹤能力統一了現實世界和虛擬世界的座標系,環境跟蹤能力識別出了現實世界的平面資訊,而命中檢測能力建立了兩個世界之間的互動錨點,AR Engine透過這三個能力,從點、線、面多個維度打破了物理世界與數字世界的壁壘,實現了兩者的疊加統一,這種統一不僅為使用者提供了前所未有的體驗,也為開發者開闢了廣闊的創新空間,為各行各業帶來了更多的可能性。隨著技術的不斷演進和市場的不斷擴大,我們可以期待AR技術在未來將有更廣泛的應用和更深遠的影響。

瞭解更多詳情\>\>

訪問AR Engine聯盟官網

獲取AR Engine開發指導文件

相關文章