市場研究中，總會遇到一些細分市場樣本量不足的情況。

微軟的客戶和合作夥伴體驗（CPE）關係研究是世界上最大的滿意度追蹤專案之一。

調查使用45種語言，覆蓋170個國家和地區，在6個月內響應近10萬樣本。

即使是如此龐大的專案，也存在一些與國家匹配的細分市場的樣本量不足的情況。

他們是如何解決這一問題的呢？

微軟的兩位總監為低響應地區建立了預測模型。經雙重檢驗後，證明該模型得分的誤差竟比100+樣本量的誤差還要低。

這對該專案有巨大貢獻的同時，也給予我們啟發。

微軟的客戶與合作伙伴體驗（Customer and Partner Experience-CPE）關係研究是世界上最大的滿意度追蹤專案之一。

它對微軟的客戶與合作伙伴（從小型企業到跨國公司）進行調查。

該專案以45種語言進行調查，覆蓋170個國家，在6個月內響應近10萬條。

CPE關係研究衡量了微軟與其商業客戶和合作夥伴關係的健康狀況，並作為一個強大的傾聽系統來了解他們的需求、痛點和滿意度驅動因素。

微軟在全球範圍內的團隊都使用該研究中的指標和洞察來制定有針對性的計劃，來改善客戶體驗。

01 挑戰：最低樣本量要求

The challenge: minimum sample requirements  

為了確保我們從CPE關係研究中提供具有代表性且穩定的分數，我們要求報告中的任何指標的最小樣本量為n=100。

雖然我們很容易達到全球層面的細分市場（如企業客戶）的最低樣本要求，但我們經常達不到與國家相匹配的細分市場的限定值（如紐西蘭的企業客戶）。

我們甚至都無法報告與國家相匹配的細分市場的約50%的滿意度分數，這使得業務領導層對其客戶和合作夥伴在這些國家的滿意度知之甚少。

樣本量的限制為某些國家/地區造成了認知缺口，並給我們帶來了挑戰——我們如何為某些國家/地區響應率較低的細分市場提供客戶滿意度洞察？

更重要的是，這些國家的分公司領導層如何改善他們的客戶和合作夥伴與微軟合作的體驗？

目前的戰略和計劃是否有效？

我們有其中更小群組的定性資料和逐字記錄，但這並不夠。

我們需要一種新的方式來提供我們有信心的量化資料，以便利益相關者能夠做出更明智、更可靠、資料驅動的決策。

02 解決方案

The solution

為了迎接這一挑戰，我們與我們的分析供應商Success Drivers公司合作，使用了增強的貝葉斯神經網路機器學習（boosted Bayesian neural network machine learning,），為低樣本量國家進行了兩個關鍵滿意度指標的建模：

  • 對微軟的總體滿意度（Overall satisfaction with Microsoft）
  • 客戶團隊質量滿意度（Account team quality satisfaction）

1）建立模型

Creating the model

模型的目標是為任何給定的與國家相匹配的細分市場提供可靠的滿意度估計或預測。

該模型使用我們從調查中收集的測量資料，並根據一組預測指標調整分數。

我們使用以下概念框架來確定模型中包含哪些變數：

1. 起始水平預測因子（Starting-level predictors）:

這些變數有助於確定與國家相匹配的某特定細分市場的分數的起始水平。

例如，與國家相匹配的細分市場以往波次的分數有助於確定下一波得分的起始水平。

2. 變化預測因子（Change predictors）：

這些變數會告知，與國家相匹配的細分市場的分數應從前一波的結果向哪個方向（如果有）移動。

例如，如果高度相關的組合（譯者注：指國家與細分市場的組合）的滿意度分數增加，則模型更可能會預測某與國家相匹配的細分市場的滿意度會增加。

3. 代表性預測因子（Representativity predictors）:

這些變數用於瞭解我們有多大的信心來保證測得的分數能夠代表市場。

具體做法是瞭解當前時間段與所有時間段平均代表性的比較情況。這包括回顧已顯示出對分數有影響的高權重或附加代表性變數的佔比。

為了將這一切結合起來，我們來看下面的例子：

為了校準法國企業商業客戶的滿意度得分，模型可以利用以下一個或多個輸入：

1.起始水平預測因子：法國企業商業客戶過去的滿意度得分。

2.變化預測因子：與法國企業商業客戶滿意度得分相關的其他與國家匹配的細分市場的滿意度得分（例如，法國的中型商業客戶）。

3.代表性預測因子：在過去三個月中與微軟代表有直接接觸的受訪者佔比（這一指標已被證明可提供差異化的滿意度分數）與之前波次的平均佔比進行比較。

該過程的最後一步是應用一個公式，該公式考慮了樣本量、測量得分和模型得分。

隨著樣本量的增加，我們對測量得分可代表市場的信心也會增加，這需要在最終的模型得分輸出中加以考慮。

當樣本量較小時，該公式更看重預測得分，而當樣本量較大時，則更看重測量得分。

2）驗證模型

Validating the model

透過執行數千次模擬，對模型進行了驗證，以評估模型分數與實際分數的接近程度。

充分利用擁有非常大型的樣本量以及對測量結果具備高度自信的與國家匹配的細分市場，我們測試了該模型在不同樣本量下預測的滿意度得分。

事實證明，即使在低樣本量的地區，我們的模型仍然可以有效預測實際得分。

例如，基於 n=50 個樣本量的模型得分預測滿意度得分的誤差小於我們調查 100 名客戶的結果！

透過繪製測量得分和模型得分隨時間變化的曲線圖，模型得到了進一步驗證。

這些長期圖表顯示，低樣本量的模型得分與測量得分的圖形相似，但波動性更小。

此外，高樣本量的測量得分和模型得分的走向幾乎完全一致。

這兩項驗證使我們確信，對於任何給定的與國家匹配的細分市場，模型分數都是滿意度分數的一個強有力的代表性預測因子。

03 瞭解客戶和合作夥伴的滿意度

Understanding the satisfaction of customers and partners

鑑於我們確信模型的分數可以可靠地估算細分市場和國家的表現，在我們的半年報中，當樣本量在n=50到n=99*之間時，我們使用了這些模型分數。

（*當樣本量超過 100 個時，我們將繼續使用測量得分。）

透過這一流程，我們測量總體滿意度時對細分市場和國家組合的覆蓋率提高了約20%，測量客戶團隊質量滿意度時對細分市場和國家組合的覆蓋率提高了約25%。

自從將這一創新應用於 CPE 關係計劃以來，我們收到了我們利益相關者的熱烈反饋。

模型分數已成為各國家和細分市場領導層用來鞏固和了解其客戶和合作夥伴滿意度的一種衡量標準。

我們期待繼續看到我們的模型分數對領導層改善客戶與微軟合作體驗的能力的影響。

作者 | KATHERINE COSTAIN, JEFF MERCER

原題 | Providing reliable satisfaction scores for low survey response geographies

編譯 | 張杉

勺海公號原創譯文