說明
蘋果目前對AR投入巨大,CEO庫克也多次表示看好AR的發展.
但是蘋果的AR之路到底會怎麼走? 一個只能識別平面,只能單人使用的ARKit框架能讓開發者開發出受使用者歡迎的app麼?
VR裝置蘋果還做麼?
下面我們從收購,專利等方面談談蘋果的AR/VR之路.裡面帶有我的一些不負責任的猜測,大家輕噴.
收購的相關技術公司
一般來說,蘋果收購有以下特點:
- 收購新技術/新公司後,不再對外提供單獨產品,而是整合進iOS系統/iPhone手機中;
- 往往會改變原始用途,與iOS系統結合後提供新的體驗;
- 平均在2~3年後應用到iPhone上,一般不超過4年;
| 公司名稱 | 主要技術與產品 | 收購時間 | 整合現狀 | 未來動作預計 |
|---|---|---|---|---|
| Polar Rose | 人臉識別技術 | 2010-9 | 持續整合到普通相機,人像模式中 | --- |
| PrimeSense | 3D視覺技術,深度感知,結構光識別,動感捕捉攝像頭 | 2013-11 | 小型化後,2017年用於iPhoneX前置攝像頭 | --- |
| LinX Imaging | 移動裝置多攝像頭畫質增強,成像拼接,深度感知 | 2015-4 | 2017年後置雙鏡頭深度資訊 | --- |
| Metaio | Metaio Creator:擴增實境創作工具,計算機視覺的識別和跟蹤演算法 | 2015-5 | ARKit的基礎,2017年釋出.平面識別,光照估計,6自由度 | 2018年升級ARKit更多識別型別 |
| Perceptio | 允許手機獨立辨認影像，而無需依賴任何外部資料庫 | 2015-10 | 2017年Vision視覺框架;2018年ARKit1.5識別影像 | --- |
| Faceshift | 動作捕捉公司，實時抓捕人的面部，然後用動畫表現出來,依賴於PrimeSense的識別技術 | 2015-11 | 2017年用於iPhoneX前置攝像頭的Animoji | --- |
| Emotient | 表情跟蹤識別技術,分析人類表情與感情 | 2016-1 | 2017年用於iPhoneX前置攝像頭面部表情捕捉 | --- |
| Flyby Media | 空間感知平臺:可以將資訊繫結在某個地點或者建築，只有通過掃描同一建築才能讀取這條資訊 | 2016-1 | --- | 2018年用於ARKit升級,升級多人玩法 |
| Realface | 生物識別登入系統 | 2017-2 | 2017年用於iPhoneX前置攝像頭Face ID | 2018年前置攝像頭Face ID改進升級 |
| Senso Motoric Instruments | 眼球追蹤眼鏡和系統 | 2017-6 | --- | 2021年用於AR眼鏡 |
| Regaind | 影像內容識別,識別照片中物體是人是狗 | 2017-9 | --- | ARKit升級;Vision視覺框架升級 |
| Vrvana | Totem頭盔:“延伸現實”裝置，AR和VR結合 | 2017-11 | --- | 2021年用於AR眼鏡 |
| InVisage Technologies | 量子膜:改善智慧手機等受空間限制的裝置的成像能力 | 2017-11 | --- | 改善手機攝像頭 |
| Shazam | 識別音樂的功能，強大的機器學習視覺系統 | 2017-12 | --- | ARKit升級 |
此外,為了在地圖領域增強實力，蘋果先後收購了多家地圖和導航服務公司，其中包括C3 Technologies、WifiSLAM、Locationary、HopStop、Embark、Coherent Navigation、BroadMap、Indoor.io等.
預計會對以後的AR+地圖玩法有幫助.
申請的相關專利
蘋果的專利從申請到真正用在產品上,時間往往更長,往往需要4~5年,甚至長達7年以上.
| 時間 | 專利 | 描述 | 整合現狀 | 未來動作預計 |
|---|---|---|---|---|
| 2006 | 可以容納帶螢幕的電子裝置 | 一款能夠放入手機的物理框架，並將手機螢幕放置於使用者眼前，其中在使用者雙眼和手機螢幕之間存在著光學元件，用於接收手機屏的影像。2016年3月申請延續該專利 | --- | 手機VR |
| 2011 | 三維物體識別技術 | 通過自動化的生物特徵識別系統，通過曲線、點和物體輪廓等識別3D物件。這一技術將能精確的識別人臉，而不像某A系統那樣，分不清真實人臉和照片的區別。 | 2017年用在iPhoneX | --- |
| 2014-12 | 鐳射束測繪技術 | 藉助鐳射感測器以及鐳射束來收集特定空間內的測量資料，包括空間的形狀、距離、環境物件的屬性及體積等資訊。 | --- | 2018年後手機AR,2020年後AR眼鏡 |
| 2015-1 | 眼部追蹤技術 | 解決“特克斯勒消逝效應”(Troxler Fading Effect) | --- | 2020年後AR眼鏡 |
| 2015-5 | 柔性螢幕專利 | 這是一種在固體發光畫素周圍設計許多小孔的螢幕，可將螢幕變得又薄又柔軟，以幫助 AR 應用。通過畫素現實虛擬影像，同時透過小孔檢視螢幕另一邊的現實影像。 | --- | 2020年後AR眼鏡 |
| 2015-6 | 上半身體感操作 | 允許使用者通過擺動上半身作出多種姿勢從而控制一個操作介面。 | --- | 2020年後AR眼鏡 |
| 2015-11 | 基於使用者目光的螢幕事件延遲 | 蘋果提出的系統可以延遲螢幕事件，直到使用者的目光看到。減輕了渲染和顯示的壓力。 | --- | 2020年後AR眼鏡 |
| 2016-7 | AR 顯示使用到的類似光波導技術 | 這項技術是讓影像從離軸原始檔中投射出來，通過透明物質(護目鏡或薄片)進入視線。 | --- | 2020年後AR眼鏡 |
| 2016-7 | AR 對映系統 | 這套 AR 對映系統能夠利用 iPhone 的硬體將擴增實境功能疊加到直播視訊上。使用者通過手機應用可以在一些現實場景中標記數字資訊，比如街道名稱、興趣點等等，並用攝像頭進行掃描。 | --- | 2018年後手機AR增強,2020年後AR眼鏡 |
| 2016-7 | 裸眼3D | 一種畫素陣列，內建子畫素和透鏡結構，後者在多個不同的角度發光。 | --- | Mac平臺 |
| 2016-10 | 3D投影手勢 | 利用一種抓取的手勢，一種推動的手勢，一種釋放的手勢，還有查詢，縮放，搜尋，執行等，甚至更多的手勢來進行人機互動。比如說，我們可以用推動的手勢來點選開啟一個 App 。 | --- | 2020年後AR眼鏡 |
| 2016-11 | AR 頭盔專利 | 這項專利描述的是一種保留移動電子裝置螢幕的頭盔式螢幕儀器，頭盔式螢幕系統以及操作方案可以讓使用者“配對”或“解除”。 | --- | 2020年後AR眼鏡 |
| 2017-2 | 帶有攝像頭的可穿戴資訊系統 | 這項技術可能會用在一款頭戴顯示器中，而顯示器上搭載的攝像頭可以接收與顯示器相同視角的資訊。該系統可下載有趣的內容，並用 AR 展示出來。 | --- | 2020年後AR眼鏡 |
| 2017-3 | 利用景深加強人臉檢測 | 這項專利是通過計算機視覺系統，利用專門的硬體和軟體進行人臉識別，尤其是已經儲存到資料庫中的人臉資料。 | --- | 2018年後手機AR增強 |
| 2017-6 | 頭戴式顯示器 | 我們可以將一個可移動的電子裝置放置到這個頭戴式顯示器上，而這個可移動電子裝置幾乎可以肯定是一臺 iPhone 。 | --- | 手機VR裝置 |
| 2017-8 | 3D手勢操作 | 為互動式現實增強提供了裝置和方法，這其中包括一個二維相機和一個三維相機，相關的深度投影機和內容投影儀，以及一個與三維相機和二維相機相關的處理器。 | --- | --- |
| 2017-10 | 全虛擬現實（VR）套件相關 | 描述了動態修改圖片，實時向使用者展示圖片和基於文字的相關資料的方法。專利申請描述的方法適用於有限視場和全景的靜態、動態圖片。 | --- | Mac平臺 |
演進方向猜測
AR方向
從目前的收購情況和專利申請情況來看,蘋果當前的主要方向還是AR,包括目前執行iOS系統的iPhone/iPad,和未來執行rOS(猜測的名字)的AR眼鏡.
預計的結果是,在未來三年,繼續對iPhone/iOS上的ARKit框架進行增強.可改善的方面有:
- 增強CPU和GPU,改進人工智慧執行速度,提高識別速度降低功耗,增加續航;
- 後置攝像頭新增飛行時間技術(ToF)或鐳射雷達(LIDAR),增強深度感知速度和精度;目前的視覺慣性里程計方式感知場景限制太多,場景太亮不行,太暗不行,運動太快不行,完全不動不行,缺少花紋不行,半透明或反光也不行,急需增強;
- 加強與地圖的整合,現在的AR無法與地圖關聯起來,AR只能通過攝像頭捕捉到的畫面來感知和理解場景,對於目前的AR來說,家裡的地面和市中心商業廣場的地面都只是個平面,沒有什麼不同;
- 允許多人AR空間聯合,比如我在廣場上用AR對雕塑進行了繪圖,別人從其它角度用AR對著雕塑也能看到我的作品,不需要完全一樣的角度進行校正.
- 陀螺儀增強,並結合深度資訊,增強SLAM( 即時定位與地圖構建)能力,完善AR物體與現實物體的遮擋,碰撞關係;
- 識別AR場景中的人臉和手勢,更長期需要支援眼球追蹤/人體姿態識別,解決AR互動問題.
三五年後AR眼鏡出場,由AR眼鏡繼續完成AR功能.
VR方向
從專利來看,目前的VR也在研究中,包括內建手機的頭戴裝置(類似於cardBoard盒子),和需要外部定位的頭戴裝置(類似HTC的vive),但這個似乎並不是重點,猜測可能是蘋果認為這種方式使用體驗太麻煩,限制多.
這種內建iPhone的頭戴VR裝置,可能只是與Apple TV配合看電影使用.雖然技術上已基本完成,但普通iPhone的LCD屏重新整理率不足,iPhoneX又太貴而且重新整理率目前也不支援90幀,按蘋果的風格不太可能會推出.
還有一種可能,蘋果現在打算將iMac pro做為VR的開發平臺,所以VR頭顯會繼續研究下去,以後可能會推出與iMac pro配套的頭戴式裝置來替換目前使用的Vive等產品.
綜合判斷,短期內VR裝置應該是不會推出的,至少在AR眼鏡出現前,VR裝置不會出現.但Mac將會做為VR開發平臺繼續高速發展.
AR什麼時候能真正火起來?
真正火起來,需要硬體+軟體+爆款內容.
-
硬體層面:真正準備好的只有iPhoneX,前置攝像頭主要針對人臉AR,後置則是平面識別+深度資訊,還有A11處理器的配合.iPhone8 plus則只有後置雙攝像頭和CPU充份滿足了AR要求.其他的A9以上CPU的單攝像頭和7p的第一代雙攝,效果只能說湊合,而且後續也沒什麼潛能可以挖掘了. X和8p的雙攝還有潛力可在軟體升級後發揮出來.
-
軟體層面:ARKit效果不錯,但現在還是隻能識別平面.人臉AR則需要iPhoneX的前置攝像頭配合.所以很多人為了體驗AR功能,將舊手機升級到iOS11,但只是體驗一番就不再用了,畢竟目前效果還是太少可玩性不高.預計2018年ARKit會有較大升級,依託雙攝和人工智慧,會支援更多功能和效果.
-
爆款內容:蘋果多次重點提及了Pokemon Go,顯然是還想用這個遊戲來讓AR再火一把,可惜大家新鮮勁兒已經過去了.
WWDC2017只是吸引了程式設計師的注意,小demo出了不少但大作幾乎沒有.後來的產品釋出會,戰爭機器這個AR遊戲不錯,但在國內遲遲不上架,就算買了iPhone8 plus和iPhoneX也沒人一起玩啊.
綜合判斷,真正火起來大約是在2018年後期至2019年中,iPhoneX普及+ARKit更新+AR大作打磨好的時候.
最後
總結一下:
- 手機AR目前重點,大搞特搞,不斷迭代;
- AR眼鏡正在研發,3~5年後問世,真正火爆;
- VR裝置投入不多,遙遙無期,Mac開發倒是不錯.
- 蘋果汽車十分神祕,尚需研究,融合VR/AR.
iOS上的AR技術請參考:WeekWeekUpProject