人機互動新體驗，全新AR介面讓你輕鬆控制畫中物

AMiner学术头条發表於2020-12-15
你是否曾渴望成為畫中人？或者是控制畫中物？擴增實境（AR）作為新一代人機互動平臺，或許可以幫你實現這一願望。

近日，卡爾加里大學、Adobe 研究中心和科羅拉多大學博爾德分校的研究人員建立了一個擴增實境（AR）介面 RealitySketch，該介面可用於繪製互動式圖形和視覺化、可響應的草圖。

相關研究以 “RealitySketch: Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching” 為題，發表在預印本平臺 arXiv 上。

該創新成果還在 ACM 使用者介面軟體和技術研討會（ACM Symposium on User Interface Software and Technology, UIST’20）上，獲得了最佳論文榮譽獎（Best Paper Honorable Mention）和最佳演示榮譽獎（Best Demo Honorable Mention）。
圖片

研究初衷：向學生解釋物理現象

近年來，互動式動態草圖一直是人機互動研究領域的核心主題之一，它透過對使用者進行互動式響應，使人們能夠透過一個動態的視覺媒介進行思考和交流。

儘管目前市場上基於 AR 的草繪介面不計其數，但迄今為止開發的大多數解決方案都專注於研究如何將靜態圖形嵌入到現實世界中。例如 Pronto、SybiosisSketch 和 PintAR，以及 Google 的 Just a Line 或 DoodleLens 等商業平臺。

如今，該研究團隊開發出了更加豐富的動態素描技術詞彙，可以動態地實時建立互動式的動畫內容。RealitySketch 平臺不僅允許使用者建立靜態草圖，還可以嵌入動態圖形和互動式圖形，這些圖形可以與使用者周圍的真實物件進行繫結，並對使用者的動作做出反應。
圖片

圖 | RealitySketch 可以使使用者透過實時草圖繪製實現鐘擺運動等物理現象的視覺化

想象一下，當我們在鐘擺上畫一條線，這條線隨著鐘擺的擺動而移動，這種互動式操作將鐘擺的運動進行視覺化處理。就如上圖中右側曲線圖，形象地將鐘擺下方的位置進行了實時的繪製，這種抽象與現實的完美結合，幫助人們更好地理解物理現象。

該研究的作者之一 Ryo Suzuki 表示：“我們的專案初衷很簡單，就是透過 AR 互動式草圖繪製，使使用者能夠將現實世界進行視覺化描繪。而這個想法最初來源於我們對物理課堂教育的觀察，在物理課堂中，老師指導的實驗課通常是物理學習的一個組成部分。”

向學生解釋物理現象有時是相當具有挑戰性的，因為要充分理解這些物理現象，需要學生們想象這些現象是如何發生的，以及它們是什麼樣子的，而不是僅僅學習與之相關的理論知識。

而由 Suzuki 及其研究團隊共同建立的 AR 平臺 RealitySketch，允許使用者製作動態和響應式的圖形，這些圖形可以在黑板、牆壁或現實世界中的其他物體上進行視覺化展現。

該平臺為學生們的物理學習提供了一個全新的視窗，可以幫助物理老師以動感十足的方式，讓學生直接觀察運動中的物理現象，從而可以幫助學生對課程所涵蓋的主題有更深的理解。

動態互動式可響應的圖形建立


RealitySketch 基於蘋果公司的 AR 開發平臺 Apple ARKit 研發，它可以將繪製的動態草圖嵌入到真實環境中。使用者首先透過手指或數碼筆在觸控式螢幕上繪圖，然後將他們繪製的草圖中的元素疊加到真實世界的攝影機檢視上。

Suzuki 說：“在過去，建立這樣的視覺化場景會經歷很多耗時的環節，需要影片編輯、後期製作等獨立的步驟。相比之下，我們想弄明白：當現實世界發生變化時，如果這些草圖元素能夠動態地做出反應，會怎麼樣呢？"

圖片圖 | 嵌入式和響應式草圖的潛在示例(綠色元素表示虛擬世界中的物件，黑色元素表示現實世界中的物件)

RealitySketch 最獨特的功能是：它利用互動技術，根據真實世界運動的草繪元素進行實時的動畫製作。

該方法可以保障使用者以使用者以實時和即興的方式，按照以下 4 個步驟來實現圖形的建立：

  • 物件跟蹤：使用者首先要在真實世界的場景中，指定要跟蹤的視覺實體（例如，一個物理物件或一個骨骼關節）；
  • 引數化：然後，使用者透過繪製直線或弧線來定義感興趣的特定變數，從而對跟蹤的實體進行引數化；
  • 引數繫結：使用者將這些變數繫結到草圖元素的圖形屬性上（例如，長度、角度等），如此一來，當現實世界的變數發生變化時，就可以實時跟蹤其動態行為；
  • 視覺化：使用者還可以透過幾種視覺化效果來對現實世界的運動進行互動、分析和視覺化處理。

Suzuki 解釋道：“RealitySketch 整合了物體追蹤和基於 AR 的視覺化。首先，它利用計算機視覺技術來跟蹤物理物件。當使用者在 iPad 上點選一個物件時，系統會根據物體的顏色來跟蹤該物件。所有的草繪元素都被繫結到了這些被追蹤的物體上，因此使用者對物體進行移動、丟擲等操作時，草繪的元素也會根據預期表現出的運動進行動畫處理。”

AR 作為動態計算媒介，潛力巨大

為調查這一平臺的滿意度，研究人員招募卡爾加里大學的學生和老師參與評估調研，這些師生對 RealitySketch 非常滿意，並且似乎對其增強物理實驗的潛力感到特別興奮。

現在由於 COVID-19 在全球的大流行，很多學生都在網上上課，而 RealitySketch 介面的建立可能價值非凡。實際上，RealitySketch 可以使遠端教學更具吸引力，例如，它允許教師錄製動態的物理實驗影片，並與學生進行分享，這樣他們就可以更好地理解老師在講課中描述的物理概念和現象。

除了在課堂環境中測試他們的平臺，研究人員還展示了 RealitySketch 在與教育無關的其他應用領域中的潛力。例如，他們展示了體育教練可以使用它來生成與健身有關的資料，並對其進行實時的視覺化處理和分析。
圖片圖 | 為 RealitySketch 提議的應用場景的草圖

研究人員向籃球運動員展示了籃球的實時運動軌跡，透過對特定的身體姿勢製作視覺化介面，使他們更加清晰的看到得分過程，也讓課堂更加引人入勝。

Suzuki 表示：“我們有興趣在將來進一步開發該專案，這是 Adobe Research（Rubaiat Habib Kazi，Wei-Yi，Stephen DiVerdi，Wilmot Li）與卡爾加里大學（我）、科羅拉多博爾德大學（我的博士博士生導師 Daniel Leithinger 教授）共同合作的成果。我們相信這項工作將激發更多支援沉浸式創意的研究和產品，並將充分實現 AR 作為動態計算媒介的潛力。”

參考資料：
https://arxiv.org/pdf/2008.08688.pdf
https://techxplore.com/news/2020-12-realitysketch-ar-interface-responsive.html
https://www.youtube.com/watch?v=S5ouToPJyeM&feature=emb_err_woyt&ab_channel=ACMSIGCHI
https://dl.acm.org/doi/10.1145/3379337.3415892

相關文章