牛逼的產品經理是如何為試驗想法排列優先順序的?

吆喝科技_Zoran發表於2019-01-30

作為產品經理的你,一旦確定了你的試驗目標和想要優化的KPI後,下一步要優先考慮的就是測試什麼。

通常我們經常揮舞著拳頭拍著胸脯說“YOU CAN TEST ANYTHING!”,但是並不意味著所有的一切都需要測試,或者說我們需要找到一個適合開始的點來測試。

通常,Google Analytics會提供大量的資料,從資料我們可以發現一些問題,但是若要這些資料變得更有價值,ab測試才是真正能帶來最大收益的關鍵。

所以,基於資料的優先化測試將是產品經理為測試排序優先順序的最寶貴資源。通常你會認為你的首頁是你網站中最重要的區域。但是當你檢視Google Analytics(分析)的“目標網頁”報告時 ,你可能會看到許多不同的網頁獲得入口,有些甚至超過了你的首頁。

當你把使用相同模板的所有網頁的流量相加在一起後,你會發現得到了比網站首頁還要多的流量。如果你需要確定測試站點範圍模板佈局的機會時,就可以檢視模板級別上的資料。

優先考慮那些存在最大提升潛力的頁面

首先查詢到那些效果極為不佳的網頁。你的資料可以幫助你找到一些明視訊記憶體在問題的頁面,比如高跳出率的頁面,但是有一些問題就表現的並不是那麼明顯。

如果你的問題是結算過程中購物車的放棄率過高,那麼像GA這樣的統計工具無法告訴你真正的原因,比如它不能幫助你發現你的訪問者之所以放棄是因為很難從其他頁面找到運費資訊,所以他們才會繼續走到結算流程看是否能找到他們想要的運費資訊。這個時候,你如果只是優化購物車的檢視,那可能無法解決問題—你還需要檢視你的產品和類別頁面。

當你只檢視一個頁面的資料時,你的資訊來源中的任何一個都不會幫你找到ab測試的機會,這個時候最好同時看幾個頁面。高退出率的頁面—這是使用者在離開你的網站前看到的最後一個頁面,在GA它會顯示在檢視網頁後立即離開網站的訪問者的百分比。高退出率的頁面可以識別問題所在。轉化漏斗由兩部分組成:頂部漏斗和底部漏斗。我們也可以把頂部漏斗叫做說服端,底部漏斗叫做事務端。

頂部漏斗包括使用者最常訪問的頁面比如首頁,類別頁面,產品頁面。這些頁面和區域是消費者對你的產品和服務最感興趣的地方;底部漏斗是轉化發生的地方—訪客購買產品,註冊並與你取得聯絡。

到目前為止,我們看過的大多數資料都集中在頂部漏斗,但是顯然我們也要關注底部漏斗的轉化。

檢視下面渠道的跳出率:

GA的渠道分析側重對底部漏斗的轉化分析。如果你正確的設定了渠道,你可以從中獲得有價值的測試資訊。例如,檢視上圖渠道中突然下降的drop-off rates,如果結算區域只有18%的流量從步驟2進行到步驟3,那麼在步驟2中就遇到了問題,找到出現的問題後,你應該問問自己為什麼會出現這樣的問題:

訪客在這個頁面在尋找什麼資訊?
有什麼東西阻止了他們在網頁上採取行動嗎?
他們期望在這個頁面上看到什麼資訊?
這些訪客是從哪裡過來的?
他們沒有足夠的動力繼續走下去嗎?

以上這些問題的答案都可以通過試驗來測試和驗證你的想法。

當我們像上述講述的那樣定位到問題後,我們產生了幾種不同的想法。現在我們就可以基於價值和成本來確定測試想法的優先順序。從高價值,低成本的測試想法開始。針對這種情況的一個例子就是測試結算頁面中的相關區域或者變數,通常這個結算頁面比它之前轉化漏斗中的頁面的放棄率都高。優先測試重要的頁面。你的使用者最常訪問的頁面以及最熱門的頁面也是用於測試的最重要的頁面。你可能已經發現了有些頁面的效果遠不及你之前預期的,但是如果他們沒有大量且高質量的流量,你暫時可以先把他往後排一排。

流量高的頁面最重要。你需要有較高流量的網頁才能在合理的時間內完成試驗。通常每月獨立訪客訪問量超過30000的網頁就可以在幾周內達到統計顯著。如果使用較低的流量,那可能就會需要較長的時間來執行,如果頁面的轉化率比較高,那可以相對縮短執行的時間。所以高流量的頁面是首先考慮儘快安排測試的,你可以更快的進入下一個試驗,這將加速你的優化迭代的過程。

費用高昂的頁面。在兩個具有相似流量的頁面之間進行選擇時,可以選擇流量費用最高的頁面來優先測試,以獲得更好的投資回報率。

使用PXL優先順序框架

ConversionXL建立了自己的試驗想法優先順序模型,試圖讓使用者儘可能多地排除主觀性,它是基於將資料帶到表中的必要性。 這個模型被稱為PXL,看起來像這樣:

(點選文末連結可以獲得電子表格模板的副本)

這個PXL框架不是幫我們猜測試驗可能產生什麼影響,而是要求我們提出一系列我們認為重要的問題,從而幫助我們給眾多的測試想法進行優先順序排序。
比如圖示中第一列,羅列了三個試驗想法:
1. 重新組織並重寫遊覽頁面上的文案
2. 顛倒主頁內容塊的順序
3. 增加移動端主體文案的字型大小

如果你無法同時讓三個或者更多的測試想法同時進行試驗,那麼需要排列順序。你需要問自己這樣幾個問題:

1. 更改是否在首位區域? →頁面中摺疊區域以上的內容的變化能被更多的人注意到,因此增加了測試具有影響的可能性。
2. 看使用者響應時長在5秒內變化是否明顯? →藉助A/B測試,讓一組使用者看到原始版本,另一組看到測試版本,然後跟蹤使用者看到差異後5秒內有沒有做響應?如果沒有,這個改變可能有較少的影響。
3. 它是新增還是刪除任何東西? →更大的變化比如消除干擾或新增關鍵資訊往往會帶來更大的影響。
4. 它能夠刺激和提升使用者的動機?
5. 試驗是否在高流量頁面上執行? →在高流量頁面上的優化改進會產生更多的變現機會。

還有一些變數特別要求您將資料帶到表中以確定您的假設的優先順序。

6. 它是否解決了通過使用者測試發現的問題?
7. 它是否解決了通過定性資料反饋(調查,民意調查,訪談)發現的問題?
8. 它是否支援滑鼠跟蹤或眼動跟蹤熱圖的假設?
9. 它是通過數字分析找到的見解嗎?

將這四個問題帶入到每週的試驗討論會中,可以避免每個人只是依賴主觀意見來排序試驗想法。
還有根據估計的時間通過包圍答案易於實施的限制。理想情況下,您可以讓測試開發人員參與優先順序討論。

根據權重係數為測試想法打分

這是一個二進位制的比例 ,你必須選擇一個或另一個。 所以對於大多數變數(除非另有說明),產品經理可以通過ab測試選擇0或1。

同時,某些變數也被加權,因為它們的重要性 – 變化是多麼明顯,如果新增/刪除某些內容,且易於實現。 所以在這些變數上,我們具體說明事情如何變化。 例如,在“變化的可察覺性”變數上,您可以將其標記為2或0;或者在“實施的難易程度”上,可以標記2或0.

本文作者:Carrie Chen@吆喝科技

文章節選自CXL的部落格,原文連結https://conversionxl.com/how-to-build-a-strong-ab-testing-plan-that-gets-results/#step-2-prioritize-your-testing-opportunities

相關文章