如何做好一場NPS調研?

網易數帆發表於2023-03-26

我們在工作中經常遇到的一個詞,那就是“產品NPS調研”。當部分專案缺少專業的用研人員時,設計師、產品經理則經常會接受上級的要求,投身於NPS調研工作。

筆者也曾在2022年的某天突然接到一款產品年度NPS調研的任務。那麼,NPS調研究竟該怎麼做?下面將根據筆者的個人經歷覆盤,帶領大家重溫NPS的調研方法。

1 NPS基礎知識

1.1 什麼是NPS?

NPS的核心就是:調研使用者對你產品的忠誠度。

圖片

1.2 NPS的計算規則

如何計算NPS值?我們一般透過詢問使用者“是否願意向朋友推薦我們的產品和服務?”來獲得評分,並根據評分將使用者分為三類:

9~10分的是推薦者, 是產品忠實地使用者;
7~8分的是被動者,他們很容易被競品吸引走;
0~6分的是貶損者,他們更有可能去傳播產品的負面資訊。

圖片

NPS最終的分值等於“推薦者佔比”減去“貶損者佔比”。 

2設計NPS問卷

想要做NPS問卷調研,一定要確保它結果的科學合理性,這樣才能在彙報時經得起別人的挑戰。接下來我們來看一看需要注意哪些點。

2.1 問卷回收數量

2.1.1 需要回收多少問卷?

對於一次問卷調研,如果回收的數量太小,那麼最終得到的評分也不足以客觀的評價產品的真實體驗。那麼,我們需要回收多少份問卷才能夠達標呢?

具體的詳情規則就不一一細說了,感興趣的童鞋可以去搜一下“樣本數量計算”的相關資料。在樣本的計算公式中需要我們填寫3個數值,大家可以透過輸入下面的資料快速計算出樣本:

總體數量:也就是我們的使用者總數,如果很大或者你不知道是多少時可以為空
置信水平:一般通用值填寫95%
置信區間:一般通用值填寫5%

圖片

透過以上公式計算出的樣本數量,就是你本次問卷需要回收的最小數值。當時產品的使用者體量為2W,那麼問卷至少需要回收376份,才可以相對準確的保障本次問卷結論合理有效。

可是回顧這款產品歷史問卷的回收量,居然沒有一次的數量能夠達標。那麼,麻煩的問題又來了,我們該如何回收到376份問卷呢?

圖片

2.1.2 如何提升問卷回收量?

為了提升問卷回收量,我開始查詢資料、諮詢用研老師、對比歷史問卷資料,尋找能夠使問卷回收量達標的辦法。

精簡提煉問題,降低問卷跳出率。縱觀歷史資料,發現在前幾次調研中,存在一個普遍的現象,就是問卷的跳出率一直很高,持續在70%~80%之間,是什麼導致了這種情況呢?

最重要的一點就是:問卷的題目太多、內容過於複雜。使用者點進問卷後,發現填寫過於麻煩,便直接退出了。

圖片

所以問題的精簡提煉是最佳化的第一步,結合產品2022年的大目標,剔除掉歷史問卷中關聯度較低的問題設定,逐漸將NPS的調研題目縮短至兩題:NPS值評分&開放式反饋。

在精簡至這一步的時候,我們也遭到了許多質疑:只有兩道題,能支撐起NPS的資料統計嗎?
 
圖片

現在就來答疑解惑一下,按照NPS的問卷調研要求,核心問題必須具備三大塊:“篩選目標使用者、NPS評分&分支維度、補充型問題”。

首先,由於我們用的推送渠道是服務號,這基本就可以確定填寫者都是產品的使用者;問卷透過企業openID登陸,我們可以透過後臺的使用者使用頻率進行篩選,既可以區分使用者層級,又可以篩查出久未使用的使用者問卷,所以“篩選目標使用者”的題目便被後臺處理所取代。

其次,我們將NPS的“分支維度題”&“補充型問題”作了結合,合併成一道針對NPS具體得分設定的三類評分使用者各自專屬的開放式反饋題:

9~10分的推薦者:感謝您的評分,您願意推薦我們的主原因是什麼?我們還有哪些需要改進的地方?
7~8分的被動者:我們在哪些方面最佳化會增強您推薦的意願呢?
0~6分的貶損者:很抱歉給了您不好的體驗,請問您不願意推薦我們的原因是什麼?

透過以上三條分支的後續追問,我們就可以得到”使用者推薦的亮點”,“可最佳化的改進點”和“不滿意的缺點“,便於接下來的分析與最佳化。

選擇合適的推送渠道

完成問卷內容的製作之後,接下來就是推送渠道的選擇。當前公司常見的問卷渠道有:站內信、應用banner、郵件、服務號等,選擇一個曝光力度最大的渠道,會使關注到問卷邀約的使用者大幅增加,那麼回收率也會相應提升。

從不同渠道的問卷回收歷史資料來看,服務號的曝光度是最大的,最近一次的服務號推送回收資料達到了180份。所以,本次的問卷髮放渠道仍然選定服務號來完成,但180份這個資料值距離我們的目標還差得遠,接下來則是調整推送時間。

選擇干擾性較小的推送時間

選擇一個合理且干擾性較小的時間段發出問卷邀約,使用者才會更可能的接受本次調研。透過調研周圍同事的工作習慣、以及詢問其它產品服務號的反饋資料對比,我們得出了最佳的時間點:5:45PM。在此時間段的問卷邀約,會得到最大的反饋率。

圖片

增加獎品吸引,提升使用者填寫意願

經過上述的最佳化調整之後,我們仍然在擔心問卷能否回收到376這個數字。畢竟在大家日常生活及工作中,所接觸到的資訊干擾越來越多。對於各方產品投來的問卷邀請,測評邀約等,可能已很大程度上使使用者形成了厭煩心理,這樣的情況會導致使用者遇到你的問卷推送時,大機率選擇“無視”、甚至“取關”。

針對可能出現的這種情況,我們增加了關鍵的一項“刺激因素”:獎品吸引。透過獎品運營,讓使用者重拾填寫的興趣,增加問卷參與者。

2.2 問卷調研頻率

除了問卷的回收數目要求之外,我們還需要注意問卷的調研頻率。

產品在2022年度是按季度展開調研活動的,但是我們從中發現了一些問題。由於版本的釋出時間不固定,按照季度來定期調研可能會導致新功能還未被使用者充分體驗的情況,不僅無法收穫更多有效資訊、浪費資源,還會使被調研者有一種“反饋不被重視”的感覺。

對此我們重新調整了調研頻率規劃,按照“版本覆蓋率”&“反饋消化程度”來合理觸發新一輪的NPS調研。確保每次調研的前提條件一定是上一個版本覆蓋率高於70%,且上一次問卷反饋已基本處理完畢後,才可以開啟下一次的調研。

圖片

3 NPS結論分析

經過上面的問卷最佳化調整,產品2022年度NPS的問卷回收數達到576份,達到了最小回收數376份的目標。接下來,最重要的階段,則是如何透過回收到的問卷,來正確的分析出結果、提出關鍵性結論為產品提升質量了。那麼我們該如何分析問卷資料呢?

3.1 過濾無效樣本

回收問卷後的第一步,就是需要對問卷資料進行預處理,檢查是否存在無效問卷、異常反饋等。例如:問卷題目大量漏填、相似答案過多、答題速度過快……這些問卷都應該被算作“無效樣本”被作廢處理。如果不做這一層資料清洗的準備,那麼得到的結果就很容易被這些無效樣本所影響。

產品曾經在2022年Q3的一次線下活動中發起了NPS問卷調研的邀請活動,並搭配上獎品獎勵。但由於周圍有很多其它公司內產品攤位都增設了獎品激勵的內容,造成參與者產生“速戰速決”的心態。問卷NPS值一度飆升至70+,卻多為無效反饋,導致此次調研只能作廢重來。

3.2 問卷資料分析

過篩掉“無效樣本”後,接下來我們就需要對問卷資料進行具體分析了。

3.2.1 NPS得分

NPS的分值肯定會是大家最關心的資料,當這個數字出來之後,我們需要與歷史值做一下對比,是提升還是下降,這將會是一個很直觀的趨勢對比。如果沒有歷史值比較,那就按照一個大致的區間評估範圍:

低於0分:貶損者超過推薦者,使用者滿意度堪憂;
0~30分之間:產品不錯,但仍有改進空間;
30~70分之間:產品在使用者滿意度方面做得很好;
高於70分:太棒了,你的大多數使用者都是產品擁護者!

圖片

當然,我們不能僅憑一個分值去主觀的斷定該產品的好與壞,還需要關注該產品所在行業的均值。也就是各年度的行業淨推薦值基準,將自己的分值與行業基準分數比較之後,才能得到一個更加客觀的評分。

圖片

3.2.2 反饋資料整理

問題的分類整理是調研結論的核心工作,公司內部常用的問卷平臺,例如:小易問卷、網易定位等,它們會幫助我們進行很多基礎類的整理分類,這將會節省很多人力成本。

對於反饋梳理,我們也可以嘗試不同的角度,來助力大家快速定位核心問題所在:

(1)站在使用者層面看反饋

站在不同使用者群體的層面去看總反饋的佔比,比如:問卷的全部使用者、推薦者使用者、被動者使用者、貶損者使用者;這四個使用者群他們的高頻關鍵字都是什麼?

高頻的負面反饋當然是團隊未來需要投入最佳化的具體項;那麼對於一些正面反饋,例如在問卷中,我們發現大量推薦者提到“VPN功能更加快捷、穩定”,這一點就可以成為我們未來增長、運營的發力點。可以透過VPN功能的宣傳推廣,吸引更多使用者轉化為產品的擁護者。

(2)站在反饋層面看使用者

查閱具體問題的使用者佔比是為了更快的抓住產品核心痛點與爽點,如果出現某一類問題明顯在“某一類使用者”佔比偏大,那就需要格外關注了。

在調研中我們發現了使用者反饋的“XXX問題”的“貶損者”佔比超過80%,這就證明該問題一旦出現,使用者大機率會直接放棄使用我們的產品,這一反饋是值得產品團隊注意的痛點。

圖片

(3)使用者後續跟進

完成了問卷的總結分析之後,這些資料還有進一步的利用價值。

透過NPS的反饋評論,結合產品後臺使用者行為資料分析,就能快速定位出那些對產品使用與調研具有強烈參與意願的使用者了,而他們就是產品珍貴的建議者。

我們要學會充分利用這些“珍貴使用者”,大膽的邀請他們加入產品的後續互動:問題回訪、使用者訪談或者新功能內測體驗等等……他們大機率不會拒絕我們的邀約,而且後續的互動會更加提升他們的參與感,為產品獲得更多的擁護者。

作者簡介

王月明,網易互動設計師,一個計算機專業,正在做互動的UI。喜歡可落地、有價值、可變現的實用型設計!

相關文章