我差點親手毀掉《光環 2》：前微軟分析師談使用者調研與遊戲設計

編者按：使用者體驗分析是遊戲開發過程中不可或缺的一道工序，而一位大神級使用者體驗分析師就以自己職業生涯中的最大的汙點為例，帶我們走近遊戲開發背後的祕密。並結合自己的失誤和日後的成功提出了四點值得一學的教訓。

本文作者John Hopson先後作為資深使用者分析師任職於微軟、Bungie、暴雪，現於《激戰2》開發組ArenaNet擔任使用者分析部門主管。

2004年發售之後，《光環2》當即成為Xbox Live上玩家最多的遊戲。其人氣一直持續了兩年有餘，一定程度上熱情的光環粉絲們也幫助Xbox Live這項當時新興的線上服務安穩度過了成長期。在這款遊戲六年的生命週期中，超過660萬玩家線上上多人模式中投入了將近5億小時的遊戲時間。而這正是源於Bungie工作室的大膽創新，打造了一個全新的線上匹配體驗，多人遊戲系統非常成功，世界各地的玩家們都非常喜歡。

真慶幸當初我沒有成功叫停這個專案。

在開發期間，《光環2》專案代號「先知（Prophets）」，以本作中新加入的外星種族命名。那時，一位使用者研究分析師通常要同時支援3到5個旗下游戲專案，但由於《光環2》是初代Xbox上的旗艦遊戲，微軟專門調派了兩名分析師來全程支援這部作品的開發，我（John Hopson）和Randy Pagulayan。

我們倆都取得了實驗心理學方向的博士學位，任職於當時成立不久的「微軟遊戲使用者分析團隊」。我們的工作是運用定性定量的研究手法，如：可用性研究、可玩性測試以及調研，來為遊戲設計者們提前預測，他們的遊戲發售後玩家們會有怎樣的反響。

而本文的故事就有關於我的一次失敗預測，我們用來預測未來的研究資料造成了微軟研究團隊與Bungie開發團隊之間的分歧。一般來說，公開討論遊戲使用者研究的案例都圍繞成功的例子，通過研究資料補全了遊戲設計的缺憾。而我要說的故事，則是有關於兩個優秀的分析師對一個優異的創新設計得出了錯誤的結論，給出了糟糕的建議。然而這款遊戲堅持自己的道路並取得了輝煌的成績。


創新之處

在《光環2》之前，大部分線上遊戲都沒有匹配機制。一般大家都是通過房間制度來進行多人遊戲。玩家們在列表中選擇房間，通過簡短的描述來選擇自己的房間。如果房間裡的玩家素質太差或技術太好，可以隨時退出換一個新的房間。

房間制度的好處就在於可控性。房主能夠為玩家們帶來精心挑選的遊戲體驗，他們能只玩喜歡的地圖和模式，踢掉任何搗亂的玩家。經常能見到一些「無狙擊槍」房或「某張地圖限定個人死鬥」房。

而遞交給我們調研的《光環2》多人系統則完全相反，移除了玩家的選擇權，取而代之的是一套玩家選擇比賽型別，靠系統來匹配地圖、模式以及對手的機制。下圖就是一個快要完成的前期匹配系統介面。


下面引用一段遊戲媒體GameSpy在《光環2》發售前對匹配系統的搶先評價。

「......通過一個有趣的改動，Bungie為玩家們預製好了遊戲的模式、地圖、載具等一切元素。」

「雖然聽起來很奇怪，但這項改動確實是一個好點子。所有玩家都能得到同樣的遊戲體驗，Bungie能夠確保所有人的遊戲流暢執行。同時也確保了所有人排名的一致性，因為大家都在相同的地圖上與同樣數量的玩家遊玩。他們隨時都能通過Xbox Live推出更新，為玩家們帶來新的體驗。而玩家在不同模式中有不同的排名，你看在突擊模式中排25名，但是在其他模式中只排到78名......」

現在來看這段評價，可能你會覺得再正常不過了。這也是因為《光環2》的這套系統非常成功，以至於日後的多人遊戲都將其作為標配。《光環2》是如此成功，以至於後人已經很難記起來以前的多人遊戲是個什麼模樣。

再次重申，很慶幸這款遊戲沒有毀在我手中。

調研過程

作為分析師，我們的任務是讓玩家明白新系統的運作方式。鑑於新的匹配機制與前作的模式完全不同，我們想讓真正的玩家儘早瞭解到新的設計理念，於是就用文字描述的系統原型向他們解釋。我們向玩家們展示了一些初版的介面和多人遊戲中的多種不同選項，包括新的匹配系統和私人遊戲等等，唯獨沒有「傳統的」使用者自創房間。

而我們從受試玩家得到的反應則是「我們瞭解這個系統，但是我們不喜歡。」幾乎全體受試玩家都想要私人可控的房間系統，並認為新的匹配系統帶來的益處並不能抵消這個損失。雖然現在聽起來不可思議，但這種「一鍵遊戲」的便捷系統在當時讓老派玩家們難以接受。

Randy和我把自己看作是玩家真實意見的代言人，於是火速趕到Bungie並告訴他們，玩家們不喜歡新的設計，他們應該更改多人遊戲的機制。而工作室的遊戲設計師們則堅持己見，認為他們眼中的未來一定比紙上資料更好，而歷史證明他們是對的。玩家們熱愛新的匹配系統，這套系統也成文線上遊戲的黃金準則。《光環2》匹配機制的使用者調研是我職業生涯以來最嚴重的一個汙點。


錯出在哪

那麼究竟哪裡出了問題？為什麼我們的研究結果與實際情況截然相反？答案關乎兩個密不可分的原則性問題，受試者與研究者都犯了錯。

受試者的問題出在「情感預測偏差」，猜測自己在一個假設情況中的可能感受出了問題。關有許多優秀論文探討過假設情況會如何影響人們主觀判斷，在此就不多做贅述。即使對於半身截癱或是中頭彩這樣的重大人生事件的猜測都難免會有偏差。

如果把這個問題拋給當時的研究團隊，我們肯定會說：「當然人們的預測會有偏差，我們不是來預測的。」我們的研究最開始是以「玩家能否理解這套匹配系統？」為主要目的，這是一個合情合理的研究主題，我們對這個問題也給出了肯定的答案。而當受試者們對系統提出了自己的觀點，我們將這些觀點錯誤地當做了事實，而沒有加以假設。

而問題的核心就在於，我們的受試者們從未玩過真正有著匹配系統的線上射擊遊戲。現在看來，這樣的問題匪夷所思，因為現在的多人遊戲中匹配機制已經成為標配。但在當時，大多數受試玩家都只是在本地網路或區域網中玩過多人遊戲。在2003年進行調查的，只有不到16%的美國民眾擁有寬頻。

而我們則是讓受試玩家在已知體驗（房間機制）與一個未知體驗（公平準確的線上匹配機制）之間做出判斷。對於當時現有的房間機制，我們明白所有優缺點。而對照的匹配機制，他們只知道自己捨棄原有系統的好處，對於新系統的優點卻渾然不知。就這樣，對照實驗的匹配機制在受試者眼中更糟了。

所以當我們的受試玩家向我們抱怨新系統的不好時，我們作為研究人員也犯下了一個錯誤，錯誤地將他們的評價假設為大多數玩家的可能意見。而在一番激烈爭論和商討後，Bungie決定不顧我們的阻礙繼續推行匹配機制，而事實證明他們才是對的。


當然，當工作室的設計師們決心否定研究團隊的意見時，他們並沒有指出我們研究方法的缺陷、也沒有就「情感預測偏差」進行爭辯。他們在設計之初就圍繞著堅實的設計準則，有著明確的設計目標，而且在工作室內部已經進行過大量討論，他們堅信自己從實戰經驗中總結出的設計理念會帶來絕佳的多人遊戲體驗。

Bungie的一位員工在事後曾私下告知我，無論我們的研究結果如何，他們都不會更改多人匹配的機制。幾乎所有專案中，當開發團隊不顧我們的研究結果一意孤行，結果都是我在事後輕蔑地對他們說「瞧吧，早就告訴過你了」。而在《光環2》的案例中，開發團隊的決定最終才是正確的，甚至還改變了整個遊戲行業。

而我們作為研究人員，應該做的是對資料和結果更加謹慎，更有辨別力。我們的資料從一定角度上看確實準確無誤：確實是玩家們初次接觸這套機制會有的反應。而從這個節點開始，我們本應和開發團隊一起在不同條件下進行測試，以此來改善玩家們對匹配機制的第一印象，並讓人們更快認識這套機制的寶貴之處。資料本身是有價值的，只是我們作為研究人員沒有進一步仔細考據。


反思過後

這次事故之後，我也進行了多次反思，以下就是個人總結出來的幾點教訓。希望我的前車之鑑能幫助他人，避免犯下同樣的錯誤，把你們的精力留著去犯下更多有趣的新錯誤吧。

第一課：抱著辯證的眼光進行調研

我們作為使用者體驗分析師們通常會先入為主，認為自己的調研結果就是無可爭辯的事實。而當開發團隊的其他部門提出異議時，通常會鬧出很多不開心。現在我們學會了，雖然自己通常是對的，但假正例、假負例與完全錯誤的結果都有可能會出現。

遊戲使用者體驗分析對於遊戲開發來說非常重要，但我們其實與所有人一樣會犯錯。我們應當以自己對玩家體驗的瞭解而熱情滿滿地找到各種問題，但我們並不總是對的一方。事實上我認為，正如同總有玩家無法通關一樣，研究者們也有一個恆定的犯錯率。如果每項研究和調查都以成功告終，那就代表著我們研究的課題不夠創新，沒有挑戰性。我們需要承擔風險，而這也意味著我們自己會犯錯。

第二課：犯錯不是調研的終點

對我來說，為《光環2》進行使用者體驗分析是一段高度緊張的工作歷程。微軟在這款遊戲上押下了重寶，投入了十來款遊戲的調研力度來確保遊戲質量。而Bungie作為一個對合作夥伴極為挑剔的工作室，在工作室歷史上最艱難、加急的專案開發期間，前所未見地為我們開放研發程式。

我和同事Randy肩上都頂著巨大的壓力，希望自己能為專案做出貢獻，想要通過玩家反饋調研為這款萬眾期待的遊戲帶來突破性的設計。而當我們盯著受試者們給出的負面反饋，分外害怕匹配機制會影響到成千上萬玩家的遊戲體驗，於是決心與工作室爭個你死我活。而最終我們錯了，輸掉了這場爭論。

本文的故事發生於2003年，正值《光環2》開發週期的一半，我們針對這款遊戲也進行了大量成功的調研。在其發售之後，我和Randy馬上投入了續作《光環3》的調研工作，這個專案日後成為了遊戲史上最成功的使用者體驗調研之一。還是原來那兩個分析師，還是原來的遊戲設計師，同一個系列的遊戲，不同的是，這次我們的使用者調研工作登上了《連線》雜誌的封面，被譽為遊戲行業使用者體驗分析的里程碑。

事實上，正是本文提到的這次失敗啟迪了下一個專案的成功。Bungie領導層總結出來的結論是，調研團隊應當與設計團隊密切合作，從而杜絕類似失誤再次出現，這個結論也正是我們《光環3》專案成功的關鍵。幾年後，Bungie還直接聘請我來建立並領導他們工作室內部的調研團隊。

分析師們並不能做到十全十美，而我們的合作伙伴其實也不需要十全十美的結果。他們需要的是，分析師們儘可能地說出玩家們的心聲，儘可能去創新並承擔相應風險，以及在總結錯誤後推行改進。

第三課：調研與設計實則以不同手段研究同一件事物

玩家們只能靠自己的體驗來做出反饋，體驗又基於他們過去玩到的遊戲和測試的樣本。由於分析師們的工作是放大玩家的反饋，我們也受制於同一個限制。我們的預測取決於玩家的反饋。

而設計師們則免於這個限制。他們能想出前所未有的全新設計，所以測試這些想法是好是壞就成為了一件難事。雖然有方法去鑑別一個新奇想法的價值，但是這些方法對於用資料說話的分析工具來說風險又太大了。

諷刺的是，《光環2》的開發團隊，卻為我們帶來了如何讓人們理解新奇體驗的絕佳教材。其中匹配機制只是《光環2》大量全新多人特性中最突出的一點，許多新穎的設計都遭遇了本文中同樣的調研情況。而為了說服操心的微軟管理層，製作團隊錄製了一段視訊，模擬了成品遊戲中的聯機效果。雖然這個辦法並未解決匹配機制的問題，這個充滿創意的點子也讓大家理解到了他們的創新之處。


第四課：總結反思錯誤的研究方法才能更好地設計調研

在這次調研前，我當然知道「情感預測偏差」這個現象。但我仍然沉浸於受試者的對於新機制的強烈觀點中，並將他們的判斷當做事實。這樣當眾出醜的錯誤發生過一次，就足以讓我避免再次犯下同樣的錯誤。

記住一個好的研究應有的原則固然是好事，但只有當你犯下錯誤並認識到後果的嚴重性，這些原則才會深深烙印在你心裡。無論你是有意還是無意中違背了研究原則，由於調研方法出了問題，讓長期的研究心血付諸東流，一定會給你留下深刻的教訓。只有犯了錯，才知道什麼是對的。

同時你也會發現，時有出現將錯就錯的情況。一項好的調研所需的準則或許是不可違背的，有的可能只是一些基準條件。遊戲使用者分析是應用領域，需要分析者利用手頭的資源在混亂的條件下以最快的速度得出結論。並不是每個調研的設計都能做到十全十美。

工作室可能會改變調研計劃，參與者可能會放鴿子，裝置可能會出錯，而作為分析師，我們的職責就是儘可能地還原理想的調研環境。而熟知哪些準則是千萬不能觸犯的，哪些是可適度調整的，對於一名優秀的分析師而言非常重要，這樣才能為團隊和遊戲帶來最有價值的調研結果。

結語

創新的設計也意味著一定的風險，在我的故事中，Bungie的設計團隊無懼風險，最終帶來了耀眼的成果。遊戲開發過程中，使用者調研最主要的作用就是儘量避開設計風險，在設計師們嘗試新點子的同時，為他們排除潛在的問題，避免惹惱真正的玩家。而作為從業者，其實我們分析師內部也會承擔一定的風險，無論是選取調研方法還是分析問題所在都需要我們做出決斷。在本文的案例中，我們做出的決定並沒有取得成功，但這並不會改變調研必須承擔的風險。一個優秀的分析師必須以自身的經驗與膽識，決定自己所需承擔的風險，以此更好地服務於遊戲設計師與開發者們，為玩家們帶來最優質的遊戲。

作者：John Hopson
譯：Tiger
來源：篝火營地
原地址：https://www.zhihu.com/question/54084240/answer/736882651