遊戲設計與理論化研究（2）——黑箱方法論的運用

引言：調皮的箱子

在上一篇專題文章《非玄學的遊戲設計知識譜系》中，我嘗試用類比的方式探討了對遊戲設計進行理論化研究的可能性問題。在本文中我將用另一個科學方法論作為核心思想，繼續嘗試討論遊戲設計與理論化研究的方法論。這個方法論就是我們今天的主角：黑箱方法。

第一天，神說，要有箱：一天，一個黑咕隆咚的玩意從天上掉下來，引來了很多吃瓜群眾圍觀。


很多人一看到這個黑漆漆的箱子就有想要把它摔碎的衝動，有人還擼起了袖子，奈何，作為今天文章的主角，這個箱子擁有以下設定：堅不可摧，不可開啟。

吃瓜群眾接著對這個箱子進行任何神奇的操作（用液壓機碾壓或者原子彈爆破），可是這個鬼東西一點反應都沒有。我們不知道到底是炸彈威力不夠大還是箱子太黑了所以看不出什麼變化。

這時候，讀者可能會問了，那要這破玩意有啥用？

事實上，這是一個只可能存在於思維實驗中的存在，它不可被感知，不可進行互動，不會產生反饋，是一個完全獨立且封閉的系統。

眾人折騰了一會兒之後，有人從箱子邊緣拽出來兩個東西：


如圖所示，這裡有一個無法開啟的箱子（非常黑），我們能做的只是按紅色或者綠色的按鈕（輸入）來控制黑箱，並且通過燈泡的亮暗來觀察輸出結果（輸出）。

看到按鈕，在人類好奇本能的驅使下，（假設）所有讀者都毫不猶豫地一掌拍在了綠色按鈕上，結果1s之後下面的燈泡就閃爍了一下。

這時候大家就開心了，哦，原來這個破箱子是處理按鈕訊號，控制燈泡的啊。

於是在圍觀的吃瓜群眾一擁而上，紛紛起了興趣。有按紅按鈕的，有按綠按鈕的，有的人只按一下，有的人連按十下。更有甚者，以“動次打次”的節奏分別按兩個按鈕。而這兩個燈泡呢，就忽亮忽滅，最後甚至還亮出了節奏感，閃出了彩色光芒，一時之間好不熱鬧。

人們圍著這個黑箱子吃著火鍋唱著歌，一晚上過去了，吃瓜群眾各回各家各找各媽，我們的故事也暫時告一段落了。

這時候，有個吃瓜的聰明小朋友躺在床上就開始反思發生的一切了：

• 為什麼人們一看到黑箱子就想去砸一砸試試？他們在期待什麼？
• 為什麼他們發現按鈕的時候會盯著燈泡看？
• 為什麼到故事最後燈泡的光還閃出了節奏感？
  

潛在的認識論

其實，這裡麵包含了人類認識世界的一個底層過程：

在本能的驅使下，人們嘗試對黑箱進行輸入（破壞、稱重、搖晃箱子等等），然後觀察黑箱，期待著黑箱能夠輸出一個反饋。當人們發現無論如何都無法影響黑箱本體時，他們通過控制按鈕可以間接達成對燈泡的控制，這個過程就是在按鈕和燈泡之間建立了一個耦合關係。當人們可以自如地控制燈泡了，至於黑箱能不能開啟，就不是一個非常重要的問題了。

人們在對黑箱進行輸入並期待結果的過程中，產生了並不被意識到的第一個預設前提，即：我對黑箱進行互動（輸入），就一定會在哪裡產生一些結果（輸出）。因此人們本能地就會認為：①事物之間是存在普遍關聯的，並且能夠互相施加影響。當人們以一定的規律嘗試按按鈕並觀察燈泡的時候，則產生了第二個預設前提：②事物之間的聯絡是存在規律的。也就是說，即使是一個完全不能開啟的黑箱，我們也會嘗試去與之互動（比如說很多人會拍一拍變成了雪花螢幕的老電視，心裡期待電視訊號恢復正常），獲得對這個未知事物的控制能力。

好，到了這裡就開始進入主題。我們把黑箱視作對一切未知事物的抽象類比來考慮問題：

黑箱就是一種不同事物之間相互關聯並相互作用的耦合方式。

無論吃瓜群眾能不能開啟黑箱，他們都會嘗試對黑箱進行互動（提供輸入），並且觀察黑箱的變化（產生輸出），就像無論你一巴掌拍下去電視會不會變成正常播放電視劇，你都還是會選擇先拍一巴掌試試。

並且，在這個過程中我們都預設了上文提到了兩種前提的存在，並且本能地認為這兩個前提的絕對合理性。否則我們會走向另一個極端：會否認事物之間的關聯，投入不可知論的懷抱（這就像一個黑箱永遠不提供按鈕和燈泡（甚至不能被看到或者觸碰到，因為只要能夠觀察，就一定會產生可觀察變數），人們只會在擺弄它幾下之後悻悻而歸，然後棄之不顧了）。

在上面的例子裡還有一個重要的地方，那就是人們在按下按鈕的時候，產生了一個對燈泡的影響的預期，而這個預期就是被稱為理論的主體模型。綜合下來，這個抽象結構是這樣的：


人們對一個未知的事物進行某種理論預測，併產生一個預期的理論結果，當人對客體黑箱進行實踐的時候，用這個理論結果與時間結果進行比較，而比較產生的目標差距則作為對主體模型的修正依據。當這個過程迴圈若干次之後，人們對於客體黑箱的理解就會逐漸加深，理論模型也被建立了起來。在上面的例子裡，按按鈕的人就會越來越清楚自己按下按鈕將會使燈以什麼樣的規律變化，即使不能完全弄清楚黑箱內部的電路組成，也會弄懂一些最基本的規律了。

在上面的例子中，我們可以假設按紅色按鈕是關閉所有亮著的燈，綠色是開啟所有關著的燈，將這個作為版本V0.1的粗糙主體模型。所以我們的理論預測是，按下綠色按鈕，那麼兩盞燈就會呈現都發光的客體結果。然而當我們按下綠色按鈕時，只亮起了一盞燈。那麼我們就有充分的理由去否定V0.1的模型，找到另一個改進的模型（V0.2），這一步實際就是上圖中的：利用實踐結果和理論結果的目標差來修改理論模型。而新的V0.2理論模型則至少可以解釋“按下綠色按鈕，僅一盞燈亮”這個客觀的實踐結果。

遊戲設計實踐中的應用

聰明的小朋友已經想到了，退一萬步講，遊戲設計對玩家遊戲體驗的塑造的影響過程是至少可以被看做是一個黑箱的。在最極端的情況下，可以假設我們在遊戲系統中設計的某個機制的效果是一無所知的，然後通過遊戲測試來產出一個體現設計好壞的結果，這樣就能依據這個結果對設計進行重新修正，並且逐漸找到設計和最終體驗之間的理論聯絡。

黑箱方法的第一步是建立理論假設，我們現在選取一個例項來作為研究物件，這裡以技巧/挑戰為核心玩法的遊戲PVP中最常見到的匹配機制設計來舉例。

眾所周知，市面上的大多數遊戲的匹配機制系統都是依據ELO（ 埃洛等級分系統）來衡量玩家實力，然後進行匹配的。以下摘自維基百科：




在任何型別的遊戲中，評價玩家水平都不是一件容易的事，因為不同種類的遊戲擁有完全不同的指標來反映玩家水平。比如在LOL/DOTA類遊戲中，玩家在對局時的補兵數量、GANK成功率、參團率、總團隊輸出佔比、KDA等等引數分別從不同的維度衡量了一個玩家在對局中的表現。這些引數與玩家實力都有一定的相關性，但是並不能用來直接反映玩家的水平。這裡會遇到幾個問題：

①玩家的水平可能會在短期內呈現波動性，單局內的引數會被這種波動性嚴重干擾。比如，我們在對局時產生失誤是很常見的事兒，但是失誤對比賽結果產生的影響是難以測算的。

②這一系列的引數種類太多，他們類別不一、口徑不一致，無法直接作對比，且每個指標反映的側重點不同，選取某一個指標度量會導致結果單一化。

我們再來看ELO在最初設計衡量國際圍棋棋手水平的演算法時的思路。他首先做出了幾個假設：①參賽棋手的水平符合正態分佈；②棋手的對局結果只用勝/負/平三種狀態作為指標來衡量，勝者比負者擁有更高競技水平；③如果選定一個值（實力值）來衡量選手實力，這個值高的選手與值低的選手對局會有更高勝率而不是必定獲勝。如果比賽獲勝，則選手的實力分應該上升，反之則下降；④選手的水平存在短期波動，但是從長期來看則不會產生大幅波動。


接下來，他用一些方法構建了實力值、勝率預測、賽後實力值變化：

• 計算當玩家A/B的實力都是正態分佈的情況下，AB雙方實力值差為D時，A對B的勝率函式P（D）
• 確定了產生比賽結果（勝/負/平）之後，A與B新的實力值應該是多少
  

ELO演算法本身就是一個利用黑箱方法產生的演算法，因為這個演算法把比賽的具體內容作為了一個黑箱，它承認了通過對局內的資訊來分析棋手水平這件事是無法做到的。因此，這個演算法把具體的對局看成一個黑箱，而可控制變數則是不同水平的參賽選手，而唯一產生的可觀察變數則只有勝/負/平的三種比賽結果。

既然已經有了這個計算模型，我們在這裡把這個模型當做理論模型來加以驗證，以此確定模型的可靠性。接下來，我會給出例子來解釋黑箱模型的應用。

舉個小栗子


與此類似的，在遊戲性設計中，我們也仍然可以利用黑箱方法對自己的設計理論進行修正和改善。

現在嘗試把這個模型用在類LOL/DOTA遊戲中，把是否啟用ELO演算法本身作為可控制變數，然後開始設計實驗，並對結果進行預測。然後，我們可以通過對比結果和預測值的差別來評價理論模型。

模型的相關描述：



下圖是對玩家評分的統計，可以看出對照組平均值低於實驗組，接下來看我們這個判斷是否顯著。


使用獨立樣本檢驗，可以看到雙尾顯著性<<0.05，表示實驗組在對遊戲評分的表現確實顯著高於對照組：


對玩家勝率分佈的統計，可以看出實驗組的標準差對比獨照組下降了55.47%：


從勝率分佈的箱型圖看，實驗組的數值極差變小，四分位點的分佈也滿足了實驗結果預測：


至此，我們可以得出結論：通過使用ELO演算法，的確顯著提升了玩家的對局體驗，並且滿足了使玩家勝率的分佈相對集中於50%附近的預期。

理論模型修正和改進


完美的理論模型幾乎是不存在的。從根本上說，想要100%精確地描述設計師的設計預期都是不太可能的。任何模型都有適用環境的限制。眾所周知，牛頓力學創造了光輝的成就，是一座物理學發展歷程上的豐碑，但是它也只能在巨集觀低速世界問題上才會適用。

雖然完美的模型不存在，但是我們仍然可以對模型進行不斷的修改，使其趨近完美。接下來繼續考慮一下ELO演算法和匹配規則，嘗試下還能不能提升一下玩家體驗。

比如說，現在證明描述對局表現最貼切的分佈是邏輯斯諦分佈，而非正態分佈。當我們使用新的分佈函式計算P（D）時，就理應能產生更優化的結果（這個倒是沒有做過驗證，有經驗的同學歡迎交流）。

在這個例子中，我們確認了使用ELO演算法後對玩家體驗的提升，進一步地，我們可以把可控制變數變為對K值的分佈進行設定（典型的做法是讓低段位的K值高，高段位的K值低，這樣的做法是為了滿足兩個設計預期：①讓更多玩家可以迅速從低段位爬升至中間段位。②使低段位玩家的段位波動較大，讓他們覺得衝擊更高段位是可能的，形成激勵。③高分段玩家更需要較低的K值（也就是更低的分數波動）來緩和短期內的對局表現波動，高分段玩家上分很難，他們需要更高的穩定性來維持成就感）。由於這次我們想要達到的設計目標、可控制變數都改變了，所以可觀察變數也需要相應調整。

我們還能從其他的角度繼續來優化這個理論模型。ELO演算法是為國際象棋設計的，國際象棋是一個1V1的遊戲，它在DOTA-LIKE遊戲的5V5模式中的適用性必定會有所下降。因為普遍的做法都是粗暴地用單人排位分和團隊實力做一個簡單的加和平均計算，所以這一步必定會增大團隊實力衡量的誤差。所以我們需要找到一個模型能客觀地考量個人實力與團隊綜合實力的關係，從而使玩家的綜合勝率分佈更接近50%。而這個模型的思路則很可能會從團隊陣容的層面：英雄聯動性、玩家英雄熟練度等角度切入，具體模型的設計則等待進一步嘗試了。

如果再考慮到有“代練上分”這種不被官方鼓勵的操作存在，那麼我們可以為實力分的計算引入一種保護機制。大致思路如下：

①當玩家在一段時間內的集中游玩短期勝率顯著高於先前的勝率時，考慮啟用保護機制。

②當玩家登陸的IP地址並非常用地址時，考慮啟用保護機制。

③保護機制啟用時，玩家在參與匹配時使用的實力分將會加入一個“隱藏分”，這個隱藏分並不會實際被增加到實力分中，但是會增加玩家匹配到的對手強度。玩家如果持續保持高勝率，隱藏分會以增速上升的形式迅速累加。

當這個基礎的模型邏輯成立後，我們才考慮為其新增細節。首次對這個理論模型進行實踐時，可以直接把可控制變數定為是否使用此模型，與沒有使用的情況進行對照。而我們關心的可觀察變數，則可以從玩家貼吧、第三方遊戲交易市場等平臺收整合交量、相關話題熱度等資料，來評價模型對“代練上分”的限制效果。

運營分析的應用

再比如說，國遊的設計中偏偏是最講究資料分析這個過程的，儘管這個方法並沒有被應用到遊戲性設計，而是把資料分析的技能點全部都點到了商業化設計上。於是，這才出現大家整天掛在嘴邊的DAU(Daily Active Users)/MAU(Monthly Active Users)/CPI(Cost per intall)等等來衡量專案表現的指標。

關於在遊戲設計的天賦樹上點偏的事兒我們們暫且按下不表。從商業的角度來說，在對於一個商業專案的的績效進行衡量時，這些指標的確客觀地反映了使用者粘性、產品熱度和營收預期。也就是說，這些可觀察的變數確實反映了一個產品所需要達到的商業目的。如果任何運營活動的設計都圍繞著這些指標來進行設計，那麼最終確實也更容易達到產品所期望的商業目的。

但是，從另外一個角度講，只是純粹地強調這些商業性的KPI，會導致遊戲的玩法設計方面的盲目和短視。公司的目的是營收，所有遊戲公司都會把營收作為月度指標作為遊戲運營的績效指標。這樣導致的問題就是：遊戲運營為了完成指標往往會增強玩家的付費引導或者提出更多的運營活動。在短期內，這些設計的確大幅提高了專案營收，但是從長期看，對於想要以正常節奏體驗遊戲或者是傾向於遊戲性體驗的玩家來說，這種高強度的付費刺激必將導致這部分玩家的遊戲體驗下降，使用者粘性降低。

也許有同學會說，那是因為他們選定的KPI評判機制有問題，如果是每3個月評價一次營收，不就可以消除短期的營收震盪從而看到更全面的資料了嗎？話雖如此，由於商業活動本身的特性就決定了需要風險規避和即時反饋，這樣的評判機制在許多專案中並不一定能奏效（尤其是現在手遊專案的生命週期普遍是6~12個月左右的情況下）。況且，我始終認為，能夠驅動玩家投入時間和金錢的根本因素仍然是遊戲性。單方面忽略對遊戲性的提升而只關注商業指標未免有所偏廢。

心流理論的問題

現在，我們從黑箱方法的角度來提一下現在所有遊戲行業的人都喜歡講的“心流理論（Flow theory）”的問題。


這個理論是我一度認為是極其正確並且無法反駁的理論，但是隱隱覺得哪裡有點兒問題。但是我們如果結合黑箱方法就能很輕鬆地看出這個理論問題出在哪兒。


前面講到我們認識世界無法脫離兩種變數：可控制變數和可觀察變數。但是我們可以看見，在心流理論中所描述到的“難度”、“焦躁程度”、“無聊程度”，都只是一種定性描述，而不是量化指標。它籠統地概括了我們在遊戲設計時對機制、數值等的控制過程和獲取測試反饋的過程，導致我們拿到一個非常正確的理論，但是並不能加以運用。因為我們並不知道如何去控制遊戲達到“合理難度”，我們甚至不知道什麼指標才能夠客觀衡量“難度”和“玩家技巧”，也不知道“焦慮”和“無聊”是以什麼變數作為表徵的。

這就像我們玩一個生存類的遊戲，目標是為了存活不被餓死，但是我們既不能控制角色吃多少個饅頭，也不知道角色什麼時候餓或者飽——我敢保證，任何人玩到這樣的遊戲都會想要罵人。

儘管這個例子非常粗暴，但是它足夠鮮明地指出了一個問題：任何理論如果沒能具體解釋可控制變數和可觀察變數之間聯絡或者無法提取出可控制變數和可觀察變數，那麼這個理論對於現實世界的實踐過程將沒有任何的指導意義。

我們其實可以用一句話概括心流理論：玩家需要合適的難度來體驗遊戲，高了焦慮低了無聊。因此，心流理論實際上就是一個令你無法反駁，絕對正確但實踐意義微乎其微的理論。當我們遇到一個無法證明也不可能被證偽的理論的時候，我們就得小心了——因為它在最好的情況下是一句用處不大但正確的廢話，在不那麼好的情況下則是忽悠人的話術，令人以為自己掌握了“真理”。

從認識論的角度講，“心流理論”和前幾年知乎er大加撻伐的“雞湯文”有異曲同工之妙。


它們的共同特點是：既沒有指出控制手段（可控制變數：就是相當於喝雞湯不給勺），也沒有指出衡量指標（可觀察變數：評價幸福度的指標），所以它們能提供的“價值”就只是讓你看了之後獲得些許暫時的愉悅而已。

如果我們確實想要這個“心流理論”能夠變得可以驗證且可使用。那麼設計師們需要建立遊戲動態難度調整（DDA）的理論模型，並且去嘗試使用資料統計等方式衡量玩家在遊戲中表現出的技巧水平，再將玩家技巧評價對映到怪物強度、刷怪頻率等等可控制變數上去。然後，在若干次試驗獲得大批樣本後，設計師再對使用動態難度調整前後的可觀察變數進行對比驗證，量化對玩家遊戲體驗提升的效果（對遊戲設計來說是個很值得嘗試的方向）。

侷限性

正如前文所說，完美的模型是不存在的，所以我們仍然需要認識到黑箱方法的侷限性。

由於黑箱方法最初會假設我們對一個事物是完全毫不知情的，而是依賴多次的輸入和對輸出的觀察來逐步建立理論，這個過程需要涉及到非常多次的理論迭代和非常頻繁的輸入輸出，這在遊戲設計過程中是非常消耗人力成本的事情。

另外，黑箱理論本身並不會從黑箱內部（就是涉及到事物執行規律的角度）給出機理模型，而只是提供了對理論模型（主體模型）的糾偏方式。黑箱方法並沒有強調開啟黑箱直接進行觀察驗證的方法，相比開啟黑箱（也就是找出機理模型的過程），黑箱方法則要繁瑣地多，這樣的思路本身是低效的，卻也是必須的。因為即使我們已經掌握了一個較為靠譜的理論模型，也需要在大量可控制變數和可觀察變數的驗證中得出理論最終可以用於實踐的佐證。只不過，如果理論模型可靠，那麼進行模型驗證和糾偏的效率將會大幅提高。

再者，由於遊戲設計本身要達到的目標就是塑造良好的遊戲體驗，而有關於體驗的一切的底層指標都涉及到神經心理學的範疇，而這個學科也僅僅是處於較為初級的階段，並不能直接為遊戲設計提供直接的指導（涉獵太淺，有待大家共同研究）。

模型成立的條件

筆者現在已經通過一個例子大致介紹了黑箱方法模型，也指出了此方法的侷限性。然而，我們還需要注意的是，想要黑箱方法真正靠譜，還得遵循以下這些條件：

1.可觀察變數和可控制變數的限制

我們需要具備一定的實踐手段：控制與觀察，就是當我們使用黑箱方法的時候，是必須要有手段來控制客體黑箱，並且能夠觀察到黑箱的控制結果。這就依賴於以下兩個變數：

可控制變數和可觀察變數。在上面的例子中，我們按按鈕的有效手段越多，可控制變數越多。至少，我們需要能夠使接觸並按下按鈕來作為我們的控制手段。儘管這個動作看起來好像很容易做到，但是如果在面對實際問題時被施加種種限制（比如按鈕在天花板上，而我們只有小石頭可以投擲）時，有效的可控制變數就會迅速減少。對模型的輸出端來說，可辨識的燈泡狀態越多，可觀察的變數就越多。另外一方面，我們假設的輸入手段只有按按鈕，也就是說只有按鈕是否被按下的狀態以及何時被按下的資訊（離散變數），而不考慮按鈕被按下不同程度的漸變過程時（連續變數），這個模型會相對簡單。但是當可控制變數增多後，我們開始考慮按下按鈕的程度（甚至是速度），那麼整個黑箱會變得非常複雜。從可觀察變數的角度來看，我們假設了燈泡只有亮/滅以及不同顏色這些狀態，當燈泡可能會有更多的可觀察到的狀態（也就是可觀察變數）的情況下（比如燈泡溫度、燈泡輻射強度），可觀察變數會迅速增加。這些結果都會導致弄清楚這個黑箱的執行規律就會變得越來越難。所以，當我們對黑箱進行實踐（互動）時，可控制變數和可觀察變數並非越多越好，我們必須把模型進行簡化，從而只關注感興趣的可控制變數和與它們相關度最高的可觀察變數。

當這兩種變數被限制在某一水平內時，人們無論怎麼樣實踐-理論-實踐都是不能再進一步逼近真理的。
在顯微鏡（可觀察變數）發明前，是沒有人能100%確認細菌的存在的；在基因編輯方法出現前，基因序列對人類來說是不可控的。也就是說，這兩種變數的水平會在我們的理論假設與真理之間築起一道不可逾越的高牆。

2.模型逼近客觀真理的速度

反饋調節跟不上客體變化速度會使認識模型失效
要使一個反饋調節有效，我們收到反饋再調節的速度必須快於客體變化的速度。如果燈泡自身本身就是會進行一定的亮/滅變化，但是這個變化規律會受到按鈕的影響，當我們按按鈕的速度總是慢於燈泡自身變化的速度，那麼我們的輸入就不能實時影響燈泡，最後產生的實踐結果也不再具備指導意義。

反饋具備延遲使認識模型效率迅速降低
在上面的例子中，如果按下按鈕，燈泡需要等待1天才會發生響應，這意味著人們研究黑箱規律的輸入週期被大大拉長，理論模型逼近客體模型的速度會下降若干個數量級。

其實也並不需要燈泡延遲這麼久，當燈泡每次都需要延遲2s來做出響應時，人們就不好把方才做出的輸入控制和當前的燈泡狀態聯絡起來了，因為人們並不能很容易地確定延遲時間，並立即找出延遲時間之前那個時刻的輸入變數。這種情況下很容易產生歸因錯誤。

3.可判定條件不成立

實踐結果和理論結果之間的誤差必須要能夠反映理論跟客觀真理的接近程度，這個前提叫做可判定條件

比如在上面的例子中，如果我們認識黑箱的目的是儘可能保持燈泡常量，那麼我們對按鈕進行的操作一定要使得燈泡的實踐結果一定要滿足我們的這一需求。我們可以選擇一個可靠的可判定條件，稱作“點亮率”，也就是燈泡發亮的總時長佔單位時間的比率。

結語

在本文開頭我曾提到過，即使大家在不知道黑箱方法的情況下，仍然會下意識地使用黑箱方法。那有小朋友就會問了：“那為啥還需要了解這個方法？”那是因為，有意識地應用理論會增大理論產生的實踐效果。可控制變數代表了設計師對一個設計的控制能力，可觀察變數代表了設計師對設計效果的認知能力。設計師如果在設計過程中不斷地主動使用黑箱方法，就能可控地、可觀察地提升我們的設計水平。

最後，我認為黑箱方法作為一種認識論模型，精準無誤地詮釋了“承認無知亦是有知”的智慧。


道阻且長，與君共勉~

關聯閱讀：
遊戲設計方法論——非玄學的遊戲設計知識譜系

作者：漩凝
專欄地址：https://zhuanlan.zhihu.com/p/142072661