打破虛擬邊界的視訊互動新方式，AR 隔空書寫的應用理念和探索實踐

AR隔空書寫演示

隨著技術的發展和超視訊化的時代驅動，互動的形式日漸豐富。從螢幕點觸，到語音互動，人臉、指紋、聲紋，再到近年流行的 AR 和 VR……人類早在語言出現之前便習慣使用肢體和手勢這種近乎本能的溝通方式來進行交流，作為最基礎和自然的互動方式，手勢互動的應用場景越來越多。

當前，市面上大部分視訊應用的手勢互動邏輯，主要是通過某個具體手勢觸發預置的單個特效，這種較為簡單的互動不僅不能發揮出人類靈活手掌的潛力，在終端上的識別效果也有較大的提升空間。

尤其是受疫情影響以及在音視訊會議和協同辦公需求巨大的今天，使用實體白板畫圖寫字進行遠端溝通和協作非常困難。

雖然市面上有類似虛擬白板的產品，但是這類產品主要還是依賴於滑鼠等裝置來進行輸入，我們可以利用手勢的天然優勢，代替滑鼠、鍵盤、觸屏等互動方式，實現 AR 隔空書寫，在辦公、生活、娛樂場景發揮其巨大價值。

AR 隔空書寫，打破虛擬白板壁壘

如何通過 AR 隔空書寫來實現一個完善的虛擬白板？

最直接的想法是把寫字的內容渲染在螢幕上，例如最近一個較火的開源專案“Yoha”便是通過這個想法實現了效果，但這也面臨著因為攝像頭視角有限導致字無法寫得很小和書寫內容有限等問題。

另一種方案，可以通過先書寫一部分內容，將其縮小後，再寫另一部分內容。這種解決方案看似可行，卻面臨著排版困難以及前後內容連續性差等問題。

阿里雲視訊雲美顏特效 SDK（以下簡稱“美效 SDK”）的 AR 隔空書寫能力，通過把 AR 隔空書寫的視窗懸浮在虛擬白板上，使得 AR 隔空書寫視窗可以自由的放大、縮小、平移，這樣使用者就可以自由控制寫字的大小和位置，對書寫內容的排版也會更具操控性。

對於攝像頭捕捉的每一幀影像的邊緣進行裁剪，然後再懸浮在白板上，使用者可以放大或縮小 ROI 視窗，來實現對書寫內容的大小和精細度的控制。

使用者還可以通過移動 AR 隔空書寫視窗來控制寫字的位置。

當使用者的手勢（虛擬筆尖）移到 AR 視窗邊緣附近的時候，AR 視窗將會自動朝對應的方向移動（參考 DOTA、LOL、魔獸爭霸等遊戲移動視窗）。

參考動圖，這種身體不需要移動的操作方式不僅符合人的書寫使用習慣，也使得移動視窗的便利性和使用舒適性大大提高。

阿里雲視訊雲將該 AR 隔空書寫能力作為“隱藏黑科技”整合在釘釘的音視訊會議硬體產品中，該能力可以幫助參會者在遠端會議中通過隔空書寫或是畫圖來助力溝通。在近期的釘釘釋出會上，阿里雲視訊雲也對該能力進行了互動展示。

釘釘 2022 線上釋出會，AR 隔空書寫現場演示

AR 隔空書寫還可以和粒子特效結合，展現出雪花、火焰、水滴、花瓣、煙霧等各類豐富炫酷的特效，為使用者進行個性創作提供發揮空間，讓視訊互動更美感、更有趣。

AR 隔空書寫能力近日上線於阿里雲視訊雲的美效 SDK，這是基於自研的面部關鍵點位技術，支援畫面美化、人像美顏、摳像製作、貼紙美妝、動作識別、智趣互動、摳像處理等多種個性化的定製美效互動服務。

美效 SDK 具備多維度優勢：

基於一系列的應用優勢，美效 SDK 適用於直播、拍攝、會議、電商等多種業務場景，完美平衡了效果美化與效能開銷的問題，助力視訊互動更豐富智趣。

可以預見的是，手勢互動是未來人機互動必不可少的一部分，一個輕盈無邊界的沉浸式虛擬世界，不可能完全依賴“手持裝置”和實體的“觸點互動”，用技術解放雙手才是虛擬與現實無縫連結的正確開啟方式。

視訊化場景的互動瓶頸已初顯，阿里雲視訊雲基於美效 SDK 的 AR 隔空書寫能力的研發與應用，為超視訊化時代的智趣新互動提供了更多可能，推動視訊互動走向更遠。

想體驗 AR 隔空書寫 Demo 或者交流的讀者歡迎釘釘搜尋群號：34197869，或掃下方二維碼加入

「視訊雲技術」你最值得關注的音視訊技術公眾號，每週推送來自阿里雲一線的實踐技術文章，在這裡與音視訊領域一流工程師交流切磋。公眾號後臺回覆【技術】可加入阿里雲視訊雲產品技術交流群，和業內大咖一起探討音視訊技術，獲取更多行業最新資訊。