人機互動：為何我們在同一個地方搞砸了兩次？

互動的黎明

沒有機器，就沒有人機互動可言。駕駛汽車、飛機需要互動，從一個自動售貨機或者ATM裡買飲料、取錢也需要互動，這些暫且不談。和計算機的互動方式，從打孔的一張張硬紙板，到鍵盤、顯示器組成的終端，再到滑鼠、觸控筆等指點裝置、再到觸控式螢幕的普遍應用。

基礎技術的進步和計算機應用的不斷湧現催促著我們一次又一次重新思考“人如何去操作機器，機器又如何去反饋、配合人”這個問題。

滑鼠與圖形介面

仔細觀察你面前的這臺“裝置”，無論它是手機、筆記本、Pad還是各種規格的桌上型電腦，都屬於“新時代”，它們的功能之豐富、強大，是幾十年前原始的機器所不可比擬的。暫且拋開網際網路使得多少新的應用成為了可能，我們與這些裝置互動的基本模式無非這兩種：

• 鍵盤文字/快捷鍵指令輸入，滑鼠精確指點。
• 電容屏，依賴點選、長按、滑動等操作，兼顧指點和文字輸入。
  

作為最傳統（Legacy）的輸入方式，鍵盤滑鼠可沒有大家想的那麼“近代”，早在1946年，英國人Ralph Benjamin就發明了“Roller Ball”，一種軌跡球，就像你在某個人體工學垂直滑鼠上見到的那個差不多。

他發明此物的主要動機與其他很多科技一樣：軍用，準確的說是為了給火控雷達做輸入裝置。在“Roller Ball”軌跡球出現之前，系統採用一個搖桿作為輸入，而這可太不“優雅”了。


有了滑鼠，就有了其對應的互動物件——螢幕上的圖形介面。70年代英雄輩出，施樂（Xerox）Alto的創新是劃時代的，雖然它原生還是隻有命令列介面，但在它之上執行的程式卻支援繪製圖形介面。

正是在這臺計算機上，現代意義上的圖形介面（GUI）誕生了，你可以使用滑鼠去直接互動圖形元素！在它之上執行的Smalltalk環境（既是程式語言，其環境也是一個“作業系統”）還發明和奠定了“滑鼠右鍵選單”這一操作，所見即所得的文字編輯軟體也因圖形介面而在Xerox Alto上誕生了。

它後來還吸納了“桌面比喻”，發明了“電腦桌面”，將其喻為現實中的辦公桌面，而其上有工具、檔案等“物件”。後來，Macintosh將GUI發揚光大，進一步發明了“拖拽”（Drag and Drop）等操作。


所見即所得（WYSIWYG）的哲學以及物件導向的思想，在圖形介面中得以具象化、付諸實踐。

賈伯斯：重新發明觸屏

話說回現代，電容觸控式螢幕難道又是什麼新鮮的東西嗎？這回還是個英國人：1965年，Eric Johnson發明了電容式觸控式螢幕專利，後來為空中管理系統所用。

電容式觸控式螢幕出現在“消費電子”上則要等到1990年代，Sun公司的Star7原型PDA搭載了電容屏，並且支援“慣性滾動”，即滑動然後鬆開手指之後，螢幕上的東西會因為假想的“慣性”繼續滾動一段。IBM Simon更是第一臺搭載了觸控式螢幕的PDA兼電話，當然，在這個“大哥大”上你還是得靠觸控筆。

時光飛逝，2006年，移動手機的按鍵機還是主流，但各路豪強都想到了要用觸控式螢幕。它們拿出的機器是這樣的：


顯然，從根本思路上它們還是沒邁過那個舊時代的坎——按鍵還是一大堆，什麼接電話掛電話鍵、十字鍵確認鍵還霸佔在機器下部不走。

螢幕上，整個介面構思、顯示的質量還是老樣子，堪比80年代的字型效果，鋸齒一堆，沒有想到將早已完備的PC介面改造、移植過來，更別提觸屏本位思想。

唯一看起來有點希望的LG Prada（有人覺得iPhone抄襲了它）是這樣的：


基本上可以這麼說：它還是那個舊時代的功能機，介面還那樣。只不過觸屏大些、按鍵少些而已，它和iPhone還是天差地別的。

本人放幾個馬後炮，舊時代產品的問題無非以下幾點：

• 有的機器有的照搬QWERTY按鍵，量變引起質變，PC鍵盤按鍵大小合適、使用者友好，而縮小後人機工效極差。
• 有的機器沿用T9按鍵，限制其能承載的內容。
• 不敢大膽拋棄按鍵從而建立新的觸屏-手指-“指點裝置”本位思想和介面設計系統。
• 由於第三點，不敢擴大觸屏面積，導致無法拋棄觸控筆。
  

真想搞出革命性產品還得看喬幫主。Think about it，這兩臺手機放在一起，感覺橫跨了十年：


iPhone受到以滑鼠為指點裝置的PC介面啟發，確立了觸屏本位的思想，排斥了繁雜的按鍵，進一步貫徹所見即所得、所操作即所見的思想。其主介面啟動器的設計（下方固定四個應用圖示，上方左右切換頁面顯示其他應用）的設計更是十年來無人撼動。

更何況，電容屏在現在能做得更輕、更薄、更靈敏。

這其中有任何高不可攀的火星、NASA科技嗎？沒有。有任何全新的東西嗎？有很多。不破不立。

喬幫主引用Alan Kay（Xerox Alto發明人之一）名言：


對軟體真的非常嚴肅考慮的人們應該去做自己的硬體  ——Alan Kay

這句名言，更像是一種怪圈和詛咒，我們一次又一次掉進同樣的坑裡，請看下文。

遊戲機與手柄

手柄就更是不用我多說了，盡是“陳年舊事”，我不想再班門弄斧。

最早的手柄都有什麼特徵？

• 十字鍵，用於“提供方向”。
• A、B、Start、Select等定番。
  

任天堂N64引入一個類比搖桿用於操作視角、提供第三個自由度，更豐富的3D遊戲成為可能。而同時期所有其他遊戲都還是偽3D。

“對軟體真的非常嚴肅考慮的人們應該去做自己的硬體。”

新時代手柄普遍擁有以下功能特性：

• D-Pad或者十字鍵
• ABXY，以及可選的其他選單功能鍵。
• 兩個搖桿
• 左右各兩個肩鍵
• 雙手握持住一個手柄
  

問題：任天堂為什麼不用上文提到的搖桿替代品軌跡球？

看看你的手

鍵盤需要十指的敲打，滑鼠需要點選，觸屏需要手指點按，手柄則需要手指按下按鍵和操作搖桿。上述一切和計算機的人機互動都離不開手的精細操作，為什麼呢？

簡單的事實是因為除了手我們沒得選。

皮質小人是將人身體各部分比例按照神經區域佔比大小所繪製的人體模型，看起來有些誇張和滑稽的模型透露出一個簡單的事實：手和手指背後對應的腦部感官和運動神經區域面積巨大。

每根手指在一定程度上可以獨立屈、伸，還可以橫向擴張、縮小手指間距，手指本身並不具有肌肉，是手掌、小臂等地的肌肉在操作手指的運動，因此它們既具有精度又能具有力量（前提是你得鍛鍊）。


VR：我沒有我不是

VR和頭戴顯示器的區別何在？這是一個根本存亡問題，回答不上來則死，答出來則活。

業界辯稱3DoF（自由度），也就是玩家只能轉頭的是頭戴顯示器。而6DoF，也就是玩家自身能移動的才是VR！為了解決這個“自由度難題”，人們甚至發明了萬向跑步機或者一些奇奇怪怪的裝置來解決前後左右上下移動這三個自由度的問題。

這完全是搞錯了重點，還記得上文的皮質小人嗎？手部如此巨大，而身體、腳、頭等部位的大小都只能屈居其下。

早已有人指出輸入互動才是VR的大問題：給人罩上一個頭盔，眼、耳感官都已經沉浸式了，但輸入卻極度受限，還只能抱著“舊時代”手柄按著玩。其實答案早已盡在眼前，而21世紀、20世紀的人機互動突破設計中早有珠玉在前。但所有人都面對這個戈耳狄俄斯之結一籌莫展乾著急。

賈伯斯在天之靈：Alan Kay 老爺子可還在世呢，你們這群后生給爺好好讀讀我引用他的名言啊，送分題做不出來給爺爬！

正是因此即使2017年當年被稱為VR元年，VR被寄予厚望、掀起熱潮，後來也不了了之。試問以下幾個問題：

玩家懶，坐著不動，能玩你做的某VR遊戲嗎？站著移動呢？累了不愛玩了又怎麼辦？這兩者之間又會造成什麼體驗區別？

現有VR遊戲普遍存在無法承載複雜內容、只是形式看著新奇；或者只是對現實某種模仿，該怎樣解決這個問題？

在這段時間內湧現了一些具有代表性的VR遊戲，比如《Fallout 4 VR》、《Beat Saber》、《Super Hot》。

但它們或是簡單大作移植，要麼就是隻適用於自己一種型別，比如端著手柄砍砍砍，或者上下騰挪射擊，並沒有給出普適化的解決方案和方向。

Valve自己則做出了《The Lab》這一實驗性質極強的遊戲，嘗試各種各樣的場景，當然，他們自己一定從那時開始就對現狀非常不滿意，並著手改造問題的根本——硬體。

我們又搞砸了

視線一轉，讓我們看看這些年推出的VR裝置吧！不看頭盔顯示幀數視野清晰度有多牛逼，不看頭盔表面多少攝像頭，也不看它有沒有安在牆上的定位器，就看玩家手上拿著的東西：手柄！

PSVR


Oculus系


HTC Vive系


不，不用看它們到底有什麼功能，請和我確認以下幾個事實：

• 這些手柄需要你五指握著，你敢張開雙手它們分分鐘掉下去。
• 使用者都雙手持握了，還需要按一堆按鍵——無論是遊戲內什麼操作，你都得通過按一堆按鍵實現，而這一點也不符合直覺。
  

Valve陷入了深思，撇了撇嘴，搖了搖頭。而門外是人們熱火朝天地談論：Valve變味了！不做單機了！那個手冊是對外宣傳騙人的！G胖就知道Steam數錢！

現在，立刻翻到本文上面去重溫一下，iPhone之前那些按鍵機是一些怎樣的“醜態”。

Cave Johnson Here…

…Introducing, Knuckles Controller！這回可沒人BB什麼LG Prada了。


喬幫主拍了拍G胖的肩：最後還是得靠你老兄。

我甚至根本不確定Valve Index配套的這個Knuckles手柄是不是第一個做出這項改變的，但我很清楚我根本不用去確定就知道它一定是。

要是有人真這麼做了的話，各位，那你們的《Half-Life: Alyx》又在哪呢？真的需要我重複一遍《Half Life Alyx》中玩家能做什麼嗎？去隨便搜搜玩家們是怎麼彈鋼琴、畫白板、玩雜耍和對著聯合軍比中指吧。

還有誰能做得到嗎？

手指跟蹤是技術瓶頸嗎？

跟蹤手指的動作並非是什麼新技術，實現路徑也很多，2012年便有Leap Motion——一個小型的感測器裝置，能基於光學捕捉識別手指動作，而2010年的初版Kinect由於解析度不足還不能做到。

到了2013，Kinect for Xbox One也能做到基於光學的手指動作捕捉了。但光學方式存在缺陷，例如自我遮擋導致無法識別、識別結果抖動、精準度不夠、關節手指卡在一起等。這樣的手部互動並不可靠，而且玩家在對著空氣輸出沒有反饋，很容易就產生“人機對抗”，讓玩家感到挫敗。


肌電檢測自然也是一個方法，但是商業化的例子Myo腕帶展現出的效能並不讓人滿意，訊號噪聲、識別精度不夠，不能為遊戲要求的精準操作服務。


一種更可靠的方式則是引入IMU（慣性測量裝置），也就是陀螺儀和加速度計，一個比較可靠的例子是VRFree手套。這是一個露指手套，在關節指節等地有IMU感測器，提供三維的運動檢測，但是這種方法硬體太昂貴，而且——玩家的遊戲內互動真的能只靠雙手的真實運動嗎？這在現在不太現實。

Valve 手柄的手指檢測沒有光學檢測，沒有戴在手指上的加速度檢測器，更沒有什麼肌電，那它是靠什麼方式檢測的呢？答案揭曉：它是靠手掌掌心接觸手柄主體上產生的電容，以及壓力感測器的數值來推算手指的實際姿態的。

正如上文所說，雖然我們的手指能一定程度上互相獨立運動，但控制它們的肌肉並非真的互相獨立，而是有所牽連，最簡單的例子就是無名指不能單獨像豎中指那樣豎起來。

Valve官方宣傳，手柄上總共含有87個感測器，這其中實際包括那個可以用作Track Pad的 Trackbutton、握力感測器，內部的陀螺儀和加速度計、跟蹤手指（含扳機鍵上）的電容等等。

電容再次改變了世界。

覆盤

早在2016年時，早已有人體驗到Valve Index手柄的原型機，當時早已經確立了給玩家手指自由度的設計方針，玩家反饋說“I didn’t have to think about input, I just did it.”（我大腦根本不用想怎麼輸入，我自然而然就做了），其他各廠商熟視無睹，不為所動。

2020年PSVR、Oculus大夢初醒，紛紛放出訊息，稱自己的仿Valve手指自由跟蹤手柄”已經在研發中，亡羊補牢，不知道晚不晚。

回頭看“舊時代”互動存在的問題：

• 在舊式手柄基礎上構建的Gameplay：“按這個按鍵以抓取” “按那個按鈕以換彈”，自己卻不能真的上手只讓人感覺WTF。
• 在遊戲裡，我的手被一個圓滾滾的手柄、或者一個不屬於我，也不聽我手的直接使喚的手模型替代。這種設計不符合直覺。
• 糾結6自由度和3自由度問題，在互動上糾結費力不討好的移動問題，比如什麼萬向跑步機，不給玩家選擇自由。當然，後來大家都吸納了瞬移法。
  

為什麼這些“VR廠商”錯失機會？而Valve踢開HTC卻獨立做出了Index？

• 這些硬體廠商不做軟體，軟體廠商不做硬體（賈伯斯討厭軟體開發廠商的重要原因）。
• 在運動層面上，無視皮質小人誇張的手部反映出的人的手部的操作能力和感官能力，把玩家當只有圓球手的哆啦A夢。
• 廠商設計者根本沒有看過賈伯斯2007年iPhone釋出會，在手的互動這個關鍵問題上拋棄人機一體、所見即所得，抱著按鍵不放，面對一個送分題，心甘情願呆在“舊時代”。
• 軟體、遊戲開發者絲毫沒有聽取賈伯斯引用的Alan Kay名言“對軟體真的非常嚴肅考慮的人們應該去做自己的硬體” 。
  

“Alan 可是30年前就說出了這句話”，賈伯斯指著這頁PPT補充道。臺下又是一陣鬨堂大笑和掌聲。

作者： LinkAdrifting  
來源：機核
原地址：https://mp.weixin.qq.com/s/3MoECaCqQDGtsHmJHctB_A