實驗者偏差：獨立遊戲測試中的“反饋陷阱”

自從以Steam為代表的遊戲平臺崛起，遊戲發行、宣傳的難題在很大程度上得到了解決。遊戲製作者僅需付出一些手續費與部分銷售額抽成，即可將遊戲上架至擁有數千萬甚至數億註冊使用者的大型遊戲平臺，供玩家遊玩。受惠於這種機制，一大批優秀的獨立遊戲與遊戲製作人脫穎而出，平臺化年代的遊戲市場也被稱之為“獨立遊戲最好的時代”。


然而，雖然市場上不乏優秀的獨立遊戲作品，但獨立遊戲與製作者的基數卻也呈幾何級的增長。如同知名獨立遊戲《人類一敗塗地》製作人受訪時表達的那樣：做獨立遊戲的成功不啻於“中彩票”。一款亮眼的作品背後，通常是數十、甚至上百款默默無聞的遊戲作為陪襯。即使是擁有5億以上註冊使用者的Steam，也有約一半的遊戲作品完全無人問津。

話說回來，有誰不希望自己的遊戲會被玩家所喜愛呢？當製作者決定製作一款遊戲，他並不是與某國或者某類作品互相競爭，而是與平臺上數萬款遊戲相對比。拋開使用者定位、宣發資源、遊戲內容的因素不談，在“自己想要的遊戲”與“大家想要的遊戲”之間想要達到高水平的糅合，很大程度上要依靠（甚至很多小團隊只能依靠）上架前Demo或者EA階段的使用者測試與反饋。在這個流程中，不熟悉的製作者很容易陷入“實驗者偏差”的困擾中。

實驗者偏差

此處摘用第十版《社會心理學》的定義：

“研究參與者特別容易受到實驗者的影響。實驗者不管是有意還是無意的暗示他希望被試按照某一種方式反應，被試都會傾向於按照實驗者的希望進行反應。被試會獲得一些很微妙的線索，而這些資訊會影響他們的行為。”

即強勢方（實驗者）對弱勢方（受試者）的心理與行動存在一定量的潛在影響，進而影響到實驗結果的客觀性的一種偏差現象。

由於成本、時間等元素的限制，在獨立遊戲的製作、測試流程中，製作者通常不會組織較為大型的測試。大部分的獨立遊戲測試反饋來自於組內成員、熟人等強社交關係，並且實驗目標以UI、Debug等技術面為主。在測試流程中，測試者通常會明確告訴受試者實驗目的，而受試者將以實驗目的為前提進行鍼對性實驗。

那麼，這樣的後果是什麼呢？

實驗情境

讓我們架構一個簡單的實驗情境：

實驗情境1：作者A將遊戲測試版給了自己的朋友B，希望B為自己測試。而B從A這裡得到了很多遊戲的相關資訊，隨後A得到反饋。


這個流程中，B作為A的友人，與A的資訊差是非常小的；同時，B也高度認同A的遊戲素質。此時，B的測試結果相當接近於A親自測試，實驗者偏差將會相當巨大。

在獨立遊戲的測試流程中，許多個人製作者或小團體將會止步於一個由若干“朋友B”組成的小團體中。這個“朋友B”有可能是組員、朋友、一切與A有著高度資訊共享與社交關係的玩家。

結果非常顯而易見。接近於若干個自己來進行測試的情況下，除了得到影響遊戲的惡性BUG的反饋外，其他期望是非常低的。

由於B會受到A的強大影響、無意識暗示與大量資訊，進而對大部分方向性問題能夠理解與包容。這樣的遊戲測試，無論看起來有多少個B（幾百個，甚至上千），都基本等同於1對1的實驗。

那麼，如果通過社交裂變進行測試流程，結果又會如何呢？

實驗情境2：作者A將遊戲測試版給了自己的朋友B，B又擴散到了B所處社交群體的玩家C與D。在這個過程中，B告訴C與D這是友人A的作品，並且給到了C與D遊戲的各種資訊；其中C喜歡這個遊戲，測試完成了；而D測試途中因為各種原因半途而廢了，或者直接拒絕了測試。於是B把C的測試結果反饋給了A。


在這個流程中，資訊在A-B-C間逐步流失，相比起B的位置，C的立場更為接近普通核心玩家。但無可置疑的是，C也接收到了B關於A的資訊。這些資訊，並非是普通玩家能夠獲得的。因此，在資訊認知與理解方面，C是更靠近A的。

這種實驗情況下，C等於弱化版的B，而D拒絕的資訊被B所遮蔽了，並沒到達A。假設C代表10人的群體，而D代表100人的群體，另一種有趣的偏差就出現了。

“沒有結果”的這種結果消失了。

這種實驗流程中，B作為收集反饋的中間環節，即傳播學意義上的“把關人”。無論是線上測試、線下活動試玩等，均可以視為實驗情境2的變型傳播流程。當把關人有意無意遮蔽了可能佔到絕大多數的無結果時，對於一款資源有限的獨立遊戲很可能就是致命一擊。

原因

來看一個真實的例子：

遊戲作者在內部測試階段與線上測試階段均取得了很好的口碑，甚至還線上下提供了試玩，得到玩家的好評。但在遊戲上架後突然遭受了如潮差評，進入非常尷尬與迷茫的狀態。

事實上，上面的這個事例就是實驗情境1與2的複合，也是“反饋陷阱”的真實表現。最終形成實驗者偏差的原因無非以下幾點：

首先，遊戲測試和正式發售，是實驗者主動邀請傳播到受試者/玩家被動接受平臺與宣傳的性質完全不同的兩種階段。

在主動邀請的階段，實驗者與受試者是先建立情感連線、再玩遊戲，受試者是以玩完遊戲為目標，且受到實驗者的影響，目標非常明確；而正式階段則要通過玩家先玩遊戲，並且深入到一定程度，才能建立情感連線。玩家並沒有必須完成遊戲的情感驅動力，也並沒有什麼目標可言。將測試結果不加處理的認為是真實反饋，一定會出現結果上的偏差。

其次，實驗玩家的資訊量與實驗偏差為正相關。


上面說到，真實玩家是被動接受宣傳，接收到的資訊量一定較少。換言之，在測試流程中，受試者的資訊越少，就越接近真實的玩家。因此，測試的時候環境是否客觀是非常重要的。騰訊與B站等遊戲巨頭，近年來不斷的使用匿名測試方式，也印證了這一點。

其三，把關人的選擇問題。

在實測流程中，無論是製作者自身或者是負責把關測評的團隊成員，很容易只統計反饋的問題、提出反饋的人，而忽視無反饋、負面反饋、無意義反饋的情況，從而丟失反饋的完整結果。這樣反饋回來的資料，僅代表一小部分、區域性的意見，而無法從巨集觀去把控遊戲的整體情況。

優化建議

如同在文章中多次提到的那樣，獨立遊戲因為多因素侷限，不可能像大作一樣“大而美”，只能從“小而精”的方面著手。

那麼，如果只有50或100人，甚至更小的受試者群體，製作者該如何避免踏入反饋陷阱，最大限度減少實驗者偏差，得到最高的測試期望呢？

第一，遊戲製作人要儘量減少自身資訊量與情感聯絡對受試者的影響。

通過代理人或者機構，或通過匿名、“穿馬甲”的方式，將遊戲推送給受試的群體，使其在接近陌生的環境下進行測試，得到的反饋一定會比直接推送更為真實可信，減少因資訊量造成的偏差。如果可能的話，可以在個人之外，夾雜立場中立的機構或者媒體，相信能夠更貼切一些。

第二，重視整體反饋結果。

一個遊戲不可能只有核心玩家，大部分玩家都屬於普通玩家。因此，對淺反饋、無反饋結果的分析，也應該提到與正面、負面反饋相等同的位置。這樣的統計方式，有利於製作人對遊戲情況的整體把握。事實上，作為淺層使用者最多的手遊廠商，對使用者停留時長、使用者行為有著一套完整的分析方式。雖然大部分獨立遊戲無法做到精準的大資料分析，但是管中窺豹，從有限的受試者群體中抓取更多的資訊，相信是有所裨益的。

第三，溝通流程要全面，完善。

測試流程中，“把關人”掌控著資訊的上傳下達，是很重要的職能。作為把關人，不僅要和製作人保持足夠的資訊交流，更要對受試者的結果進行總結與分析，並全面的反饋給製作人。而製作人並不是被動的接受資訊，更要明確的主動從把關人方面獲取完善的資訊，並要求把關人注意細節，這樣，在測試流程才能夠最大程度的避免把關人無意識製造，或自己踏入“反饋陷阱”，及時修正遊戲問題，避免尷尬情況的發生。

作者：黑羽
來源：GameDiary
專欄地址：https://zhuanlan.zhihu.com/p/77404747