虛擬現實（VR）和擴增實境（AR）背後的核心技術是什麼？

首先，VR得益於三維遊戲的發展，而AR收益於影視領域的跟蹤技術（video tracking）的發展。從技術門檻的角度來說，VR、AR和移動端重合的技術有：顯示器、運動感測器、處理器、儲存&記憶、無線連線……所以在硬體上，這些都不是技術難點。

VR、AR的難點都在感知和顯示，感知是一種mapping，VR mapping的是一個lighthouse的空間或者PS camera mapping的一個交叉；在顯示上，VR如何精準地匹配使用者的頭部產生相應的畫面，AR則在這基礎上算出光照、遮擋等情況並讓影象通透不干擾現實中的視線。

而VR硬體的難點在於光學的鏡片技術和位置追蹤技術，因為以前的移動端不涉及這些技術。

而AR的硬體難點在於顯示和感知，顯示最大的難點在於accommodation，因為使用者看見虛擬物體固定在2-3米的位置，而現實物體卻可以前後聚焦，如果這時虛擬物體放在現實物體上，則會引發輻輳→使用者聚焦錯亂；而在感知上，即使是有Kinect是十幾年積累的hololens，它已經做到世界第一了，可它的spatial mapping仍需要花費很多時間去掃描去建模，至限在狹小的室內走來走去，而在室外就完全失效了。

當然，也因為這些技術的門檻，導致硬體價格居高不下。

正因為此，AR行業一片冷寂，而VR行業非常火爆，因為VR的技術門檻比AR低一個數量級，VR更容易成功。

而從軟體角度來說，現階段視覺上的難點比較多：

VR的核心技術是tracking（追蹤）和CG（計算機圖形）。三自由度的方向追蹤，六自由度的位置追蹤（見《追蹤裝置的使用場景和覆蓋範圍有哪些侷限？是否會影響VR可互動的空間的設計？》）

而AR的核心技術主要是

計算機視覺（computer vision）

物體識別（object recognition）。

包括人臉識別

區域識別

如果說廣義的VR和AR還包括其他的互動方式，比如語音識別（speech recognition）

手勢識別（gesture recognition）

最近上Stanford的CV課學到的幾個知識點搬上來——

AR要把虛擬物體整合（integrate）到現實環境中來，它需要攝像頭來建立現實空間的座標系。

三種影象配準（image registration）：

1. interest points（興趣點）

2. fiducial markers（基準標記）

3. optical flow（光流）

幾種圖形處理（ image processing）：

1. corner detection（角點檢測）

2. blob detection（斑點檢測）

3. edge detection（邊緣檢測）

4. thresholding（閾值）

根據上面的影象配準（image registration）和圖形處理（ image processing）建立現實世界的座標系統（real world coordinate system）。