人為什麼喜歡玩遊戲？到底什麼情況會感到無聊和有趣？怎麼讓遊戲更長線？——最佳刺激模型告訴你

本文主要內容如下：

一、駕馭房間裡的大象：讓最佳刺激模型再次偉大

人類如何探索並理解這個世界？

為什麼一些人對3a大作不適應，而一些人會對3a大作電子羊尾？

二、喜歡=熟悉+意外? 到底什麼是無聊、什麼是有趣？

如何用最佳刺激模型理解上癮/稀缺性迴圈？

為什麼成年人打遊戲越來越少了？

孩子為什麼總是對玩具喜新厭舊？

三、如何在人生和遊戲中應用最佳刺激模型

roguelike遊戲怎麼不斷的讓人再來一局？

人類的多巴胺=ai的強化學習？好奇心竟是人類在演化過程中脫穎而出的關鍵？

人類為什麼會感覺無聊？為什麼會主動去追求刺激？

怎麼讓孩子愛上看書學習？怎麼讓新玩家快速上手並玩進去？怎麼讓遊戲更長線？

零、前文回顧

“人的意識是是一個對世界互動進行預測及反饋的系統，意識是對真實世界的簡化，經常會出現偏差”——寫了一年的體驗設計完結篇：遊戲故事設計

“讓玩家保持一種“失神的專注狀態，保持這種狀態就能給人以莫大的滿足”——抽卡體驗設計：關於盲盒、抽卡、開箱的一切

“不要躲在籠子裡，更不要把別人關在籠子裡”——人生和遊戲設計的稀缺性迴圈

以上是我最近一年多不斷思考、整理的過程：

• 遊戲體驗的思考，直覺、驚喜、故事設計，預測處理系統是基礎
• 在回顧抽卡設計的時候，提到了“失神的專注狀態”
• 在稀缺性迴圈裡結合遊戲進行了思考，並對斯金納箱的新研究進行了更新，並發現並學習了“最佳刺激模型”
  

一、駕馭房間裡的大象：讓最佳刺激模型再次偉大


最佳刺激水平模型（Optimal Level of Stimulation, OLSO,以下簡稱最佳刺激模型）認為個體傾向於尋求並偏好一個適中水平的刺激，由Daniel Berlyne在20世紀60年代提出。

房間裡的大象（An elephant in the room）指“大象明明就在房間裡，人們卻視而不見”，形容明顯的問題或者難題被人們忽略或避而不談。

在認知心理學領域中也存在這樣的大象——最佳刺激模型有一些存在很久的問題：比如對於矛盾的習慣化和曝光效應怎麼解釋，複雜情境的刺激及個人差異因素在模型中的影響理解不足等問題。

而2022年發表在Developmental Review的論文《駕馭房間裡的大象：走向最佳刺激水平模型的復興》（Riding the elephant in the room: Towards a revival of the optimal level of stimulation model）[1]整合了近些年新的研究，提供了一個更全面、一致的框架用於解釋人類的探索和認知行為。

我會在下文首先介紹這個新的最佳刺激模型，並提供該理論在遊戲和生活中如何應用的一些想法。

1.1 人類如何探索和理解這個世界

人從出身之日起便對這個世界充滿了好奇，會主動對周圍環境進行探索，根據收穫的外界反饋而產生條件反應、養成習慣，構建出自我的認知。

但是什麼決定了人類的探索行為和一些關鍵因素，比如熟悉性、新穎性，各種研究一直沒有徹底搞明白。

先看看兩個在產品/遊戲設計中經常會用到的著名模型：

曝光效應：（the exposure effect or the mere exposure effect），又謂多看效應、純粹曝光效應，指的是我們會偏好自己熟悉的事物。俗話說就是看多了就順眼了，日久生情就可以用這個理論解釋

習慣化（Habituation）：由於刺激重複發生而無任何有意思的結果致使個體對這種刺激（例如警報、防禦、攻擊）的自發反應減弱或消失的現象。

這兩者之間存在著明顯的矛盾，而最佳刺激模型可以較好的解釋——個體實際上尋求並偏好一個最佳（通常是中等）的刺激水平。

由此對習慣化模型進行一點擴充[2]：

• 再好的東西，你也會因為習慣而厭煩
• 快樂源於慾望的不完全和間歇性滿足
• 不快樂的事最好集中起來一次性做完
  

簡單總結就是“快樂要間隔，痛苦要集中”


從這個角度理解魂like：

集中的受苦導致了痛苦的習慣化，間隔攻克boss的成就感帶來的快樂則是“慾望的不完全和間歇性滿足”

1.2 最佳刺激和探索行為


童話《金髮女孩和三隻熊》衍生出了一個“金髮女孩效應”（Goldlocks phenomenon）：

金髮姑娘在熊房子裡嚐了三碗粥，試了三把椅子，躺了三張床，最後選擇了自己最合適的一碗粥、一把小椅子和一張床。因為這些東西是最適合她的，不冷不熱，不硬不軟，不大不小，這種選擇事物的原則就叫做“金髮女孩效應”。

凡事都應有度，量力而行，不超越極限

金髮女孩效應可以簡單歸納為“適度原則”：合適的才是最好的。這也算是童話版的最佳刺激模型。

研究表明：與非常熟悉或非常新奇的刺激相比，人類對適度（最佳）的新奇刺激表現出更正面的評價。

這種對半新穎性[semi-novelty ]（或半熟悉性[ semi-familiarity]）的吸引主要透過“差異假設”（discrepancy hypothesis）來解釋。當熟悉刺激的編碼完成時，即當刺激輸入與內部表徵之間沒有差異時，從熟悉到新奇刺激的注意力轉移被認為會發生。對處理半新穎性的偏好可能是由記憶殘留活動引起的，它充當“原型圖示”（proto-schema ） 直到刺激儲存在長期記憶中。

另一種表述就是人接受外界刺激時，會根據自我的認知框架（長期記憶*大腦神經元連線）對刺激進行框架識別，注意力先從熟悉的部分開始再到新穎的部分。


一個例子就是上圖的鴨兔錯覺，這張圖是我們既熟悉又陌生的。基於我們的過往認知框架，我們會將其識別為兔或鴨，而在我們得知這個照片是鴨兔錯覺後我們便能夠調整自己的認知框架，識別其為鴨或兔了。


上圖是對最佳刺激模型的簡要展示，人們的注意力轉移和由此產生的探索行為會維持最佳刺激水平，並以此獲得最佳的資訊吸收率。

個體實際刺激水平與其最佳水平之間的偏差越大，參與探索行為（無論熟悉性還是新穎性）的程度就越大。例如厭倦可以促進心神不寧和創造力，這算是應對環境只提供很少有效刺激時的一種策略。

但環境過度刺激反而會將我們的注意力引向更熟悉的刺激。像嬰兒就會偏好熟悉的環境和事物，比如家裡的環境、地毯、物件擺設等。這樣能避免過度刺激的同時，進行更好的探索。

對最佳刺激水平的需求被描述為一種基本的心理需求[3]。針對嬰兒的一些研究表明了這種機制從出生起就已經生效，決定了個體的探索和學習動機。另外，個體間在給定的相同環境中對於刺激的傾向可能存在巨大的差異。


看到這裡，可以稍微聊一下“為什麼很多人對3a大作不適應，而一些人會電子羊尾？”了：

對於體驗3a遊戲較少的玩家而言，除去暈3d因素，之所以對3a大作不適應是因為對於這些遊戲的操作機制、遊戲玩法不熟悉，而3a遊戲都非常寫實導致環境中資訊量過大，玩家無法和自己的認知模型對上。也就是上述的環境過度刺激。


對於遊戲經歷豐富的玩家來說，3a遊戲複雜的機制、寫實的畫面已經習慣化了，相似的遊戲框架、無感的真實畫面已經非常熟悉。這時候如果沒法提供一些新的戰鬥體驗、新鮮的故事要素，那麼反而就會遠低於最佳刺激水平而感到無聊，也就電子羊尾了。

二、喜歡=熟悉+意外? 到底什麼是無聊、什麼是有趣？

從上面我們可以看出，個體（年齡、情緒、喚醒等因素）及情境的差異都可能影響個人最佳刺激水平，接下來就對這些關鍵因素進行展開。

2.1 情境刺激

心理學研究中經常會忽視刺激總是伴隨著某種情境。如果處理刺激需要花費一定成本，那麼包含刺激情景（比如新穎性novelty、複雜性complexity、強度intensity或驚喜特徵surprise features）的刺激影響也可能在探索行為中發揮作用。

如下圖所示，根據最佳刺激模型可以假設：熟悉的情境可能會降低整體刺激，它們將有利於新穎性的探索。而新奇的情境可能會增加整體刺激，它們將有利於熟悉性的探索。


這可以很好的解釋為什麼實驗條件下，對熟悉性的強烈明顯“偏好”很容易發生：由於實驗情境對參與者來說是非常刺激的，不太刺激的熟悉刺激可以提供保持最佳刺激水平的機會。

而新生兒對熟悉性的顯著傾向可以透過他們剛出生時所處的極其新奇和過度刺激的環境來解釋。專注於熟悉的刺激（例如，母親的面孔、氣味或聲音）可以讓他們更接近最佳刺激水平。

還有一個另外的研究表明，嬰兒通常偏好中等強度的光線（符合最佳刺激水平），但但在被噪音刺激後，嬰兒傾向於偏好最低強度的光線。這表明嬰兒可以根據情境刺激水平調節他們的資訊攝入量，以更接近最佳狀態。

從上面可以看出，如果探索行為是由個體對刺激的獨特需求與他的環境（刺激和情境）的刺激潛力之間的互動作用調節的，那麼考慮個體特徵就顯得非常必要。

2.2 個人特徵

2.2.1年齡


如上圖所示，隨著一個人年齡的增長，會有越來越多的可用認知資源，可以據此推斷個人的最佳刺激水平應該會趨於更加複雜。

但很多研究嘗試測量客觀複雜性和主觀複雜性，並與審美欣賞相關聯。大部分參與者隨著複雜性增加，對刺激的喜歡程度上升。但有一部分人隨著複雜性增加卻喜歡程度下降，這很矛盾。

審美欣賞的樂趣-興趣模型（Pleasure-Interest Model，PIA）可以解釋這種矛盾，它假設審美經過了兩個階段的處理：

首先發生自動處理，然後如果觀察者有足夠的動機進一步處理刺激，會進行控制處理。與最佳刺激水平模型類似，PIA模型預測隨著刺激複雜性的增加，僅自動處理刺激會導致喜歡程度增加，但如果複雜性水平太高則容易導致困惑並降低喜歡程度。

該模型強調除了參與者的過往經驗外（年齡帶來的認知資源），感知複雜性也可能取決於參與者的動機、能力和機會，以超越自動處理進入控制處理階段，有意識地處理刺激並提取它可能包含的所有資訊。


上面的自動處理、控制處理可以借用《思考快與慢》[4]中的系統1（快思考）和系統2（慢思考）幫助理解。


其實上面的描述很容易聯想到福格行為模型（行為=動機*能力*提示），以及之前聊過的稀缺性迴圈（機會 → 不可預測的獎勵 → 快速重複性）。


回到正文，還有一個非常反直覺的現象：相比幼兒，更大的孩子和成人探索行為更少。上面提到隨著一個人年齡的增長會有越來越多的可用認知資源，因此會有更高的最佳刺激水平，自然需要更多對未知的探索來滿足。

但實際上雖然有更多的認知資源，但這些資源不一定都用在探索上。大多數人認為兒童更多的探索是因為日常生活的成本由照顧者承擔，而成人除了好奇心的驅動動機外，還有賺錢成家、養育子女、贍養父母等一系列動機。成年人需要權衡！


為什麼成年人打遊戲越來越少了？我不是閒人 我需要工作 妹妹

一個人剛畢業時，還能無憂無慮的玩遊戲，每天下班的期望就是打遊戲。但隨著畢業時間的增加，自己在乎的事情越來越多了，特別的一點是：


進社會是一個重要的里程碑，意味著一個人真的需要完全獨立了。


於是，隨著畢業後看到身邊人的變化、看到同事為了家庭的各種努力與付出，你也會不自覺的思考是否還能像往前那樣只考慮遊戲，是否還要考慮生活？


比如你要考慮自己的職場進階、怎麼升職加薪；雖然才20來歲，總會覺得30+就會被社會淘汰，於是焦慮自己的競爭力，想要不斷成長，是不是搞一點副業；是否要考慮家庭，找另一半，考慮買車買房；父母年齡也大了，怎麼讓父母放心、讓父母開心，怎麼多陪陪家人。

成年人遊戲玩的少了是因為：上述認知資源會用在更多其他生存和發展動機上，所以給到遊戲的認知資源就少了。

2.2.2 情緒變化潛力（Mood changing potential）

情緒對探索也有影響：舒適的社會環境或快樂的情緒會減少熟悉性的吸引，並有利於在人類和非人類動物中對新穎性的接近。相反，一些關於動物、人類的研究也廣泛記錄了生理壓力因素導致對新穎性的撤離和對熟悉性的接近。


為了幫助理解，引入“調節焦點理論”（Regulatory Focus Theory),在探索我們的環境時，可以區分兩種獨立的動機:

促進焦點(Promotion focus)——成長需求，我的行為會帶來什麼好結果？

預防焦點(Prevention focus)——安全需求，我的行為會不會導致壞結果？

簡單來說，預防焦點就是“不做錯誤的事”，而促進焦點則是“做正確的事”。

促進狀態被認為透過採取更全域性的處理方式，擴大了心理範疇(mental categories) ，新穎性在促進狀態下也更有吸引力。擴大的心理範疇增加了新資訊被流暢處理、整合、熟悉化的可能性。

而預防狀態下熟悉性會顯得更吸引人，經常表現出過度活躍的預防焦點的焦慮或抑鬱個體，通常會減少對新穎性的探索。


如上圖，促進或預防焦點的動機可以透過刺激的情緒效價(emotional valence)或呈現情境的情緒效價來啟用。

例如，周圍環境的宜人氣味和購物環境的愉悅度可以影響探索行為。

【效價（Valence），是指對一件事、一個物件或情境的主觀內在評價是好（正值，積極的）還是不好（負值，消極的）的情緒質量】

積極的情境資訊也可以透過改變人的心態來改變評價:

例如，在相關研究中，參與者比原作更喜歡人的原創藝術作品，更喜歡標記為畫廊展覽而不是計算機生成的影像，更喜歡標記為藝術而不是非藝術的影像，更喜歡品牌產品而不是非品牌產品，甚至更喜歡作為星星而不是豌豆呈現的點。

最後還有一個需要注意的要點：刺激及其情境的情緒效價與情緒和認知資源之間動態的相互作用：

• 前面提到，透過間歇性的滿足可以反習慣化
• 如果刺激耗盡了認知資源（比如壓力很大的情況）,反而可以增加對另一個更熟悉刺激的偏好
• 如果刺激物是獎勵/激勵，人們會自然的更偏好新穎的刺激
• ......
  

比如，在熟悉的環境中突然看到噁心的東西會吸引我們的注意力（在上學路上看到一坨翔），但隨後與之相關的負面情緒會大幅降低用於處理這個刺激的認知資源，這會推動我們探索行為偏向引發更少注意力的資源（翔旁邊的草叢裡盛開的鮮花），這個刺激會接近新的最佳刺激水平。

還有一個例子是享樂適應預防模型（Hedonic adaptation prevention model）：

這個模型說的是生活變化引發的積極情緒會隨著時間而消退。除非我們找到從這些變化中受益的替代方法，或者將注意力投入在這些變化上。


舉個例子，新玩具的獎勵效果會使孩子維持最佳刺激水平。隨著時間流逝，刺激效果就會逐漸減少（少了同齡人的誇誇、已經完全瞭解玩具的功能、玩具失去了新的玩法......），更“雪上加霜”的是孩子對玩具會更加熟悉，這就是為什麼孩子對玩具容易喜新厭舊的原因。

如何解決這個問題？

尋找替代用途，或有意識地增加對玩具的注意力，可以幫助維持最初引發的積極情緒。有意識的處理也可以幫助提取更多資訊，增加刺激的主觀複雜性。

2.2.3 喚醒性（Arousability）


喚醒理論提到網狀啟用系統上升分支在內向者身上比外向者允許更多的感覺刺激傳遞到大腦皮層（見圖5）。

內向者更容易被喚醒，這解釋了他們為什麼傾向於限制刺激。相反，外向者通常會感到刺激不足，可能會尋求更多的刺激。相應的，外向性被發現與個性特質“感覺尋求”（sensation seeking）和“開放性”（openness）正相關。高感覺尋求者需要更多的刺激才能達到他們的最優水平，因此對新體驗更加偏好。


從這個角度看，大五人格的五個維度是對於某些特徵的人格維度描述：

• 開放性（Openness to Experience）是對新穎性的偏好；
• 盡責性（Conscientiousness）是對任務和目標的追求偏好；
• 外傾性/外向性（Extraversion）是對社交相關新刺激的偏好
• 宜人性（Agreeableness）是對於合作等良性關係刺激的偏好
• 神經質/情緒穩定性（Neuroticism）是關於情緒刺激的偏好，及負面情緒的刺激喚醒程度.....
  

藉由對大五人格的這個類比，對最終更新的最佳刺激模型進行一點總結：

• 人之所以會感到無聊，是因為人會追求一個最佳（適度）刺激水平，而這個水平因人而異
• 隨著年齡的增加，可用認知資源的增加會造成不同的偏好
• 情境的新穎性、複雜性、刺激強度、意外驚喜會對最佳刺激水平產生影響：熟悉的情境可能會降低整體刺激，它們將有利於新穎性的探索。而新奇的情境可能會增加整體刺激，它們將有利於熟悉性的探索。
• 情緒的變化會導向不同的模式（促進/預防焦點，對應成長需求和安全需求），引起負面情緒的刺激物會被情緒壓制而導向稍弱的正向刺激物，引發正面情緒的刺激物比如獎勵/激勵會讓人偏向新穎的刺激
• 喚醒性和人格相關，內向者更容易被喚醒因此偏向稍弱/熟悉的刺激，外向者需要更高的刺激水平，因此會尋求更多的風險和刺激。在大五人格這樣的人格理論理，這體現為人格特質：比如外向性（Extraversion）開放性（Openness to Experience）
• 而前面提到的感知複雜性也可能取決於參與者的動機、能力和機會。這其實可以類比大五人格里的盡責性（Conscientiousness=目標動機）、宜人性（Agreeableness=良性關係的偏好動機+共情能力）、情緒穩定性（Neuroticism，上述情緒對最佳水平的影響+負面情緒的喚醒）
  

到此，我發現最佳刺激模型就是對：喜歡=熟悉+意外的一種有用的理論解釋。

三、如何在人生和遊戲中應用最佳刺激模型

本文的內容其實就是個很多陌生刺激（不熟的專業概念，本人也對這些概念不怎麼鼠）的情景，然後我有意的在前文裡間歇的提供了一些正向的、熟悉的刺激，下面會結合其他理論和人生、遊戲的案例，看看能否成為引發注意的好刺激。

3.1 學習進展假說/預測誤差

學習進展假說（The Learning Progress hypothesis）中，大腦被視為一種預測機器，不斷試圖預測接下來會發生什麼（預測處理理論），它內在的追求預測改進活動，即不確定性減少，有序性增多，這種行為其實就是學習。可以說大腦就是一臺學習機器。

在不確定、或有明確目的/需求的情況下，我們可能會急切地尋找可理解的資訊以達成目標——這種行為動機說明學習本身可能是有回報的。

但這一理論並沒有解釋為什麼要改進預測，即為什麼滿足我們的期望是有內在獎勵的。我們聽了那麼多年內在獎勵、外在獎勵，但為什麼內在獎勵能讓我們感覺良好？

當前研究表明，當大腦以最佳刺激水平模型的刺激方式偏向神經活動模式時，就會發生期望或預測[5]。這種有偏見的大腦活動可能會使新資訊處理更加流暢，從而產生內在獎勵。

最近的一個計算模型表明，基於前面的刺激更好地預測的刺激就越容易處理，因此流暢性就越大[6]。該作者提議將流暢性理論重新表述為“與較低預測誤差相關的感官體驗更愉快”。

可能有人會疑惑：不是說極其熟悉會被視為無聊嗎？那麼可預測的刺激不也是熟悉的？事實上，在最佳刺激水平範圍內的預測誤差才會讓人愉悅，太小的預測誤差也會引起無聊（比如電視劇的劇情和自己的預測基本一致），而太大的預測誤差反而會讓人感到困惑（故事不按邏輯走的機械降神）

滿足預期可以獲得回報，而違背預期可能會導致過度刺激。也有另外的研究表明，違背預期可以增強並促進嬰兒的資訊尋求行為（information-seeking behaviours），而探索行為是透過過往經驗進行發展的，所以可以透過適當的違背預期來有意識的控制刺激水平，從而加強主動的探索狀態（exploratory states）。


我曾定義過好的rogue元素是什麼：

• 有意義的隨機：隨機的基礎下提供有意義的選擇和可預期性，同時有一定的驚喜感。
• 體驗方差大的build：構築成長強隨機區間大、流派效果豐富、有質變爽點“胡了”。
  

而上述內容可以幫我們更好的理解為什麼這樣的肉鴿元素會好：

• 有意義的隨機、可預期即是最佳刺激水平範圍內的預測誤差，而正向的刺激也就是所謂的驚喜感（前面也提到如果刺激物是獎勵/激勵，人們會自然的更偏好新穎的刺激）
• 體驗方差大的build其實就是不斷增強的刺激物，隨著對遊戲環境的熟悉玩家會偏好更強的刺激，而爽點“胡了”其實就是前面提到的“慾望的不完全和間歇性滿足”。
• 於是，在build成型後爽了“一哆嗦”後，玩家又會預期下一次的“一哆嗦”
  

3.1.1好奇心簡史


“多巴胺”是“對驚喜的記憶”觸發的、進而“對愉悅的期待”會產生一定的“衝動”(或者“慾望”)

基於上面對預測誤差的分析，我們能更好的理解多巴胺的本質：

刺激多巴胺分泌的並不是可以預測到的快樂，而是由“預測誤差”：人類大腦總是在預測下一步會發生什麼，但能真正吸引我們注意力的並不是那些準確的預測，而是預測誤差，也就是那些我們預料之外的獎勵和真相。

抽卡體驗設計：關於盲盒、抽卡、開箱的一切

而對於多巴胺本質的理解其實源於對ai的研究：

早在1950其實就有過一波ai熱潮，有人設計神經網路用試錯的方法學習走迷宮和下棋[7]：

你先隨便試，具體怎麼走我不管，反正贏了就給獎勵輸了就給懲罰，看看你能學會啥——這就是強化學習。

但科學家們很快就發現這種訓練面對更復雜的任務就束手無策了，比如動輒幾百上千步的下棋得終局才能知道勝負，中間的步驟怎麼才能學習？

直到1984年理查德·薩頓（Richard S. Sutton）的出手：心理學出身的他靈機一動，他假設應該把中間每一步對結果的「預期」作為獎勵，而不是最終結果。


薩頓把強化學習分解成兩個獨立的部分，各自訓練：「行動者（actor）」和「批評者（critic）」。行動者每走一步，批評者都要預測這一步之後的全域性取勝機率是多少。這強化的不是最終的勝負獎勵，而是走完這一步後勝率的變化。比如贏棋的機率本來是51%，走了下一步後批評者判定機率變為了61%，則說明這一步是應該強化的好棋。

這樣改進後，學習參考的就不是最終的輸贏，而是每一步的好壞，這就意味著每一步都是學習，哪怕最終輸了也能學到很多。這就是時序差分學習（temporal difference learning）。


這也是當前強化學習的基本原理，AlphaGo也是這麼做的，而dota2的“大老師”實時預測團隊獲勝機率可能也是基於此。

最終，這個研究啟發了腦科學：動物的試錯學習也是時序差分學習，有了ai的研究，腦科學家才真正理解了多巴胺。

多巴胺是強化學習的關鍵，它是對好東西的預期，而不是好東西的獎賞。

1997年，有人結合AI的原理用一篇論文徹底講清楚了多巴胺的工作機制。多巴胺是一個強化訊號，而不是獎勵訊號。多巴胺的作用是讓我們「想要」，告訴我們好東西就在附近，你現在做得對，繼續幹！

在脊椎動物的大腦中，下丘腦負責釋放多巴胺是一個獎勵系統，只看結果，認為是好東西就釋放多巴胺。大腦真正的學習機制不是釋放而是感知多巴胺，這一步由基底神經節負責。基底神經節中有兩個迴路，一個扮演行動者，一個扮演批評者。批評者負責感知多巴胺，它們共同學習。


強化學習演算法大獲成功後，ai在很多電子遊戲裡超過了人類水平，而《蒙特祖瑪的復仇》卻讓ai翻車了，水平提不上去：

這個迷宮類遊戲要求玩家穿過一個充滿障礙的房間，找到暗門出口。

跟其他遊戲相比，這裡的暗門可以出現在任何地方，沒有里程碑性的中間步驟，在找到暗門之前你根本不知道自己做對了還是做錯了什麼。這很不適合強化學習，強化學習為了試錯一般會留下比如5%的空間允許行動者隨機動作，但是在這裡遠遠不夠。但如果純粹毫無章法地亂走，又找得太慢。

直到2018年， Google 的 DeepMind 團隊才攻克《蒙特祖瑪的復仇》，打敗了人類玩家。他們的解決方法是引入好奇心：

如果一個動作雖然沒有給你帶來什麼回報，但是它很新穎，讓你探索了未知區域，滿足了好奇心，那麼這個動作也應該得到強化鼓勵。AI就是憑著好奇心，主動探索房間裡沒去過的地方，才找到暗門。（玩遊戲開圖的樂趣）

脊椎動物以及一些後來演化出的高階無脊椎動物都有好奇心。我們僅僅因為滿足好奇心就能獲得多巴胺。這就是為什麼我們那麼容易被隨機的獎勵所吸引，為什麼我們在賭場裡輸著錢還那麼投入。

強化學習有明確的目標，是一種非常功利的態度，它必須有好奇心的指引，才能走得遠。你必須寧可犧牲一點回報，只為探索新的地方。

好奇心讓學習本身成了一個值得追求的活動。

原來，好奇心是讓人類在數萬年演化中能夠脫穎而出的關鍵。

上面的好奇心“簡史”反過來能幫助我們理解上面的內容：

在不確定、或有明確目的/需求的情況下，我們可能會急切地尋找可理解的資訊以達成目標——這種行為動機說明學習本身可能是有回報的。


違背預期可以增強並促進嬰兒的資訊尋求行為（information-seeking behaviours），可以透過適當的違背預期來有意識的控制刺激水平，從而加強主動的探索狀態（exploratory states）。

為什麼學習本身有回報？生物在生存競爭中自然演化出來的底層機制。

為什麼適當的違背預期反而能強化探索行為？因為好奇心，探索動機的本質也是好奇心，對未知的偏好也是因為好奇心，好奇心也是人類大腦的底層機制。

而為什麼人類會在最佳刺激水平範圍感到舒適？這裡面的原因可能類似多巴胺是強化學習的關鍵一樣，最佳刺激水平也是人類從出生起就預裝的底層設定。

3.2 開啟斯金納箱：強化敏感性理論

強化敏感性理論（Reinforcement sensitivity theory）假設人的行為由三個潛在系統調節：

• 戰或逃系統：the fight–flight–freeze system （FFFS），負責透過響應懲罰/無獎勵的訊號來避免和逃避行為
• 行為啟用系統：the behavioural activation system（BAS），透過響應獎勵訊號來調節行為
• 行為抑制系統 ：the behavioural inhibition system（BIS），負責解決FFFS和BAS的衝突，但這可能會產生焦慮[8]
  

最佳刺激模型解釋了外部及情境的刺激是如何影響BAS和BIS的。根據最佳刺激模型，刺激必須具有積極的情緒效價才能更好的觸發探索的內在動機。

舉個例子：在空曠環境中感到無聊的人眼中，一個非常簡單的刺激可能具有積極的價值。這與多巴胺系統可以特別對不涉及任何主要獎勵的不尋常刺激作出反應的持續證據一致。

這樣的行為可能源於內部的生理/心理過程，比如一個無聊的人會進行一些重複的小動作、胡思亂想、做白日夢，可能因為這樣的活動能釋放一些讓人愉快的刺激。


這個結論自然會聯想到斯金納箱：斯金納箱的鴿子沒其他事做，所以才會成為賭鴿。而最佳刺激模型解釋了這種現象：熟悉的環境會強化探索行為，會對外界新奇的刺激更有偏好，於是籠子裡唯一有隨機性的操縱桿就被大大強化了。


借強化敏感理論可以更好的理解無聊：

低於或高於最佳刺激水平的刺激或情境會被視為無聊，是一種負強化。

“無聊”可能不僅僅是隨著重複暴露興趣減少，當我們無法成功地將注意力與環境結合時，就會產生負反饋。

因此，導致無法保持最佳刺激水平的任何資訊處理的問題都會導致某種形式的無聊。所以，任何刺激/環境刺激與最佳刺激水平相關時，無論是過於複雜（難懂的數學課），還是過於簡單（在沒有手機和書的情況下等公交車）都會導致這種情況的發生。

有趣的是，BAS（行為啟用系統）和易感無聊正相關,BIS（行為抑制系統）和在無聊情境中易感無聊正相關。在BAS量表得分高的人容易感到無聊，因為他們在任何情況下都會感到刺激不足，或者是因為他們期望並尋求更大的回報；而BIS量表得分較高的人在無聊環境中更容易無奈，可能是因為這種環境中低於最優的刺激為變成一種懲罰。


而另一個反直覺的研究表明，人類有時會主動尋求非常高的喚醒狀態。

研究者假設“喚醒突增”（arousal jags）之所以令人愉快，只是因為我們預期喚醒活動就像乘坐雲霄飛車一樣會下降。

展開解釋下：之所以雲霄飛車刺激，一方面是雲霄飛車會調動身體對於高度、不受控感覺的恐懼，另一方面是我們的理性也就是前額葉皮質會告訴我們這是安全的，幾分鐘後這段旅途就會結束。這樣有安全保證的驚險刺激就會讓我們體驗到快感。

如果這個假設正確，那麼這樣的突增在首次觸發時會讓人不悅，且需要一定的初始條件才能起作用。所以這也解釋了為什麼在新生兒的行為中沒有發現這種現象。

而我看來，這種“喚醒突增”是人類發展出新皮層，前額葉皮質長的差不多之後後天習得的一種系統設定。

接下來，讓我們把這部分理論應用在人生和遊戲設計上。


孩子為什麼喜歡動畫片[9]？成年人對孩子可能有太多誤解。

孩子對於動畫的喜愛，很多大人會覺得是動畫片色彩鮮豔、人物誇張喜人，有可愛的動物和各種特效。但事實上孩子喜歡動畫片是因為孩子看懂了動畫片的內容，簡單的大鬧並不會讓孩子持續投入。

而很多大人會覺得孩子只有專注的情況下才能理解電視內容，所以經常會要求孩子“要專心”。但實際上有過這樣一個實驗：

兩組對照組都是5歲的孩子，一組在一個空蕩蕩的房間裡看電視，另一組在一個滿是玩具的房子裡看電視。


結果，待在沒有玩具的房間裡面的孩子看電視的時間更長。待在空屋子裡的孩子大約有87%的時間在看電視，而待在有玩具的屋子裡的孩子只有47%的時間在看電視。


這是很容易理解的，這說明孩子們的注意力被玩具分散了。但是，科學家隨後測試了這兩組孩子究竟理解和記住了多少節目內容，結果發現兩組得分完全相同。也就是說，孩子看電視的方式比人們過去想象的複雜，孩子會在玩玩具和觀看電視之間分配注意力。他只看電視節目中有資訊量的部分。孩子看電視的時候，說明他看懂了，他不看電視，轉移注意力的時候，說明他看不懂。

結合上面的內容，可以更好的理解這個實驗：

孩子也會主動的維持自己的最佳刺激水平，房間（有或沒有玩具）是環境刺激，電視的內容是刺激物。

在有玩具的屋子裡，當電視提供的刺激不足以保持最佳刺激水平時，孩子就會主動的轉移到自己能理解但較弱的玩具刺激上去，所以只有47%的時間在看電視。

而沒有玩具的屋子裡，電視是唯一較強的刺激物，孩子就像籠子裡的鴿子，就算看不懂也只能選擇這個好歹會變換音畫的刺激。


再看一個遊戲的例子，24年有一個霸榜的小遊戲叫《向殭屍開炮》。一些從業者反饋，這遊戲前期非常無聊，但度過了前期就還挺爽。

這和遊戲的資料和成績不匹配啊？

其實是因為使用者群大都是沒什麼遊戲經驗的玩家，如果是從業者覺得剛剛好的遊戲資訊量反而對玩家來說過於複雜而導致無聊——這就是前面說的刺激弱於或高於最佳刺激水平都可能導致無聊。

3.3 自我決定理論


自我決定理論將人類的動機分為三類基本需求：

自主性(Autonomy) 、勝任感（competence）、歸屬感（connection of relatedness，需要感受到他人的理解和重視）

而最近對於這個理論提出了一個待定需求[10]：新穎性（novelty）。雖然新穎性似乎是符合納入基本心理需求標準的，但有一項批評意見是過量的新穎性會導致負面影響，因此不能被視為基本的心理需求。


但如果把這個需求重新定義為對最佳刺激水平的需求就不會出現這樣的問題（人們達到最佳的新穎性水平而不是過高或過低就能滿足這種基本的心理需求）。此外，重視個體對刺激的獨特需求與他/她的環境（刺激和情境）的刺激潛力之間的互動作用，更新後的模型將有助於研究基本心理需求的普遍性時解決各種混亂的情境、文化和個體因素。

這裡可以延伸一下：近些年很多心理學經典實驗面臨“可重複危機”，包括知名的行為心理學著作《思考快與慢》中的相當一部分案例都不可重複。而透過對最佳刺激模型的瞭解，我們可以發現其中一些原因：

科學實驗的重點是控制變數，前文提到實驗場景對被試者來說可能是新穎的、陌生的、無聊的而與正常的情況不一致從而導致不那麼正確的結論——正如斯金納箱原版的實驗一樣。

而除此之外，只要受試者知道自己是“參與實驗”就引入了一個刺激變數，這也會導致結果的差異。而除此之外，人的不同認知結構、性格特質都會導致對同樣情境同樣刺激截然不同的反應......而重視個體對刺激的獨特需求與他/她的環境（刺激和情境）的刺激潛力之間的互動作用，或許能在以後新的研究中獲得更加可靠的研究結論


回到上面聊過的“孩子的新玩具”，先回顧一下豐富迴圈怎麼讓遊戲更長線：

• 用意義取代機會。遊戲的精通迴圈、社交、新內容，構建豐富的遊戲世界，提供多樣的環境、故事、人物，讓玩家的“預測處理機器”在這樣的內容裡不斷收穫意義。
• 用深度體驗取代即時獎勵：玩家和遊戲互動的過程及互動過程中獲得的反饋（體驗自我，會帶來大量的互動反饋、感受、情緒），最終收穫的情感/記憶/意義/（融入敘事自我，完成個人成長）
• 用內行判斷取代快速重複：一旦你從豐富迴圈中體會到更高階的意義和更深度的樂趣，你就會藐視稀缺性迴圈（機會 → 不可預測的獎勵 → 快速重複性）。透過稀缺性迴圈讓玩家對遊戲建立新的【認知】，供給玩家一些可供探索、發現、研究的樂趣和意義。
  

而之前說的新玩具的例子，是否有一種熟悉的味道：

• 新玩具的獎勵效果會使孩子維持最佳刺激水平。隨著時間流逝，刺激效果就會逐漸減少（少了同齡人的誇誇、已經完全瞭解玩具的功能、玩具失去了新的玩法......）——玩家把遊戲玩透了，已經完全瞭解遊戲的玩法了，而動機、成就、社交樂趣都淡了
• 更“雪上加霜”的是孩子對玩具會更加熟悉——喜新厭舊了，這是所有新事物而不只是遊戲會出現的問題
  

結合本文內容，可以提出哪些改進的方案呢？

• 尋找替代用途：以卡牌遊戲為例，玩家在獲得遊戲角色後新鮮感總會消失。那麼不斷的推出新的玩法和機制，讓同樣的角色有更多用途，是可行的方案
• 增加註意力：更多的對遊戲主動投入，比如說讓玩家感知到角色的故事，能夠對角色產生共情；遊戲的精通迴圈足夠長，讓玩家不斷投入時間精力去研究，讓玩家更在意；引入社交元素，讓玩家收穫社交關係、歸屬感、以及不斷的來自“人”的刺激
• 有意識的處理：其實就是從遊戲外的視角賦予遊戲意義，讓玩家能以不同的視角獲得新的刺激重新看待遊戲。比如說宣發視角給於遊戲某些“調性”（聰明人都在玩、職業選手最愛的遊戲）；給遊戲賦予某些故事或給玩家賦予某些身份（DNF穿西裝、wow給玩家立碑）；給遊戲內容賦予某種意義（pvp屬性遊戲電競化，loldota都在完善遊戲世界觀）......
• 改變環境：熟悉的情境會降低整體刺激，而反過來提供一個新穎的環境則會讓玩家對熟悉的遊戲內容迴歸興趣。dota2、自走棋會定期的更新版本，提供給玩家一個整體相對陌生但大部分機制內容都熟悉的環境；是個遊戲型別都想借鑑的賽季，其實也需要做到透過部分機制、內容的改變達到給玩家提供一種新穎性的環境的作用；而之前聊過的玩法修飾（對已有玩法增加條件/進行限制）/奇特橋段（影響3C/視覺及操作體驗的獨特元素）也屬於這一環
  

多樣性/UGC：也就是遊戲內容能有豐富的可探索空間，易上手難精通，組合無窮無盡，典型代表就是MC、肉鴿；然後UGC就是遊戲提供一個良好的基礎框架，玩家能自主的玩出一大堆內容來，比如說比較終極的玩具樂高...但這個話題太複雜，這裡就一筆帶過吧...

總結


世界是複雜的，而人類的厲害之處就是可以用簡單的模型去理解世界，對外界環境進行模式識別，並在自己的大腦中對模型進行運算，不斷的迭代自己的預測處理系統。

所有模型都是錯的，但其中有一些是有用的。

地心說也能理解和預測這個世界，不過極度複雜。換成日心說就會簡單很多。

目前版本的最佳刺激模型就是一個新的“日心說”，但可能也會有人覺得“這不過就是孔子所說的中庸之道”。


人類在漫長的進化過程中，透過遺傳有了一系列的預裝系統，從反射系統到產生意識，有諸如基於多巴胺的強化學習系統，獎勵好奇心的探索系統，以及會主動追求合適於個人刺激的最佳刺激水平模型。

最佳刺激水平的範圍因人和環境而異，注意力的轉移和探索行為的發生都可以視為個體為了接近最佳刺激水平而主動調整刺激場的策略。

當刺激過於複雜/強烈時，個體可以專注於探索更簡單的刺激，或者用更全域性的處理方式來擴大自身的心理範疇，主動去熟悉化複雜刺激；（可以結合豐富迴圈理解）

當刺激過於簡單/微弱時，個體可以尋找更為複雜的刺激或主動創造。探索其他刺激，採用不同的處理方式、根據自身可用的認知資源去發現需求，主動創造。——這可能是人類創造力源泉的一種解釋

而這些可用的認知資源會受到情境刺激強弱、年齡、情緒、喚醒性（可以結合人格特質理解）的影響。


受限於英文閱讀能力，本文肯定會有非常多的概念理解偏差。而原文10多頁的內容本次也只能進行一些取捨，且有一些思考沒有寫出來：為什麼人會偏好有序/確定性？如何用這個模型和直覺/驚喜/故事設計的內容結合？一些更具體的應用.....這個就留在以後有更多實踐再聊吧。

本來在寫完體驗設計系列後就不寫這種偏理論的文章了，但稀缺性迴圈的學習讓我第一次知道了最佳刺激模型，所以我得滿足我的好奇心。而這個模型也很好的訓練了我的認知模型，比如為什麼玩家願意看某些遊戲的故事，而另一些遊戲卻只想跳過？這個問題，現在其實很容易理解——和在有玩具房間裡看電視的例子原因一致。

參考資料：
[1]《Riding the elephant in the room: Towards a revival of the optimal level of stimulation model》，Paula Ibáñez de Aldecoa、Emily Burdett、Erik Gustafsson,2022
[2]《Look Again: The Power of Noticing What Was Always There》，Tali Sharot，Cass R. Sunstein
[3]《Understanding the need for novelty from the perspective of self-determination theory》González-Cutre et al., 2016
[4] 丹尼爾·卡尼曼（1934·3·5-2024·3·27），享年90歲
[5]Meirhaeghe, N., Sohn, H., & Jazayeri, M. (2021). A precise and adaptive neural mechanism for predictive temporal processing in the frontal cortex (p. 2021.03.10.434831). bioRxiv.
[6]Brielmann, A., & Dayan, P. (2021). A computational model of aesthetic value.
[7]《智慧簡史》3：學習的革命，萬維鋼·精英日課6
[8] P.J. Corr(2004).Reinforcement sensitivity theory and personality
[9]童話啟示錄，何帆
[10]D. González-Cutre, M. Romero-Elías, A. Jiménez-Loaisa, V.J. Beltrán-Carrillo, M.S. Hagger,2020.Testing the need for novelty as a candidate need in basic psychological needs theory


來源：遊思考