如何衡量前端基建的效能價值？

夢燼發表於2020-09-23
前端

寫在前面

不同於商用產品，對內的工具/平臺大多沒有明確的直接業務價值，需要通過可量化的指標來衡量其效能價值，本文試圖建立一個可直接套用的資料指標框架，讓內部工具/平臺的價值也能看得見、說得清

 

一.分析生產活動的核心要素

從物件導向的角度來看，前端工程是物件和物件間的關係及互動行為

（摘自物件導向視角下的前端工程體系）

其中，物件分為主體物件與客體物件兩類：

物件，是對前端應用生產活動中各個實體的抽象，其中一些物件是主體（比如充當不同角色的人），另一些是客體（比如工具、平臺等各種具體事物），物件之間通過一系列互動行為來完成前端應用的開發和交付

即人與工具，是直接關係到生產力的核心要素：

 

 

工具越強大、越智慧，人的操作效率越高、心智負擔越小

P.S.心智指的是人認識事物的方法和習慣，會影響使用者如何認知周遭世界以及如何採取行動，取決於對應角色的認知情況、記憶、主動獲取教育與被動教育的渠道和方法、以及基於角色的競品使用習慣等，具體見工具類產品的體驗度量四象模型（1）

 

二.找出工具的關鍵目標

對工具而言，兼顧效率和體驗是不變的目標，但不同工具的側重點可能有所不同，例如：

  • 不直面使用者的底層工具：如構建模組、釋出模組等，效率相對重要一些，體驗次之

  • 使用者直接與之互動的上層工具：如偵錯程式、釋出平臺等，更關注體驗，雖然效率也同樣重要

另一方面，工具總是為解決問題而生的，選用一個工具不外乎 4 種情況：

  • 無可替代：唯一能夠解決目標問題的工具，沒得選，所以不論體驗、效率如何都不得不用

  • 體驗最好：同類工具中使用體驗最好的一款，精準滿足需求，效率上和其它工具沒有明顯差距

  • 效率最高：同類工具中效率最高的一款，迅速解決問題，明顯比其它工具快很多

  • 體驗還不錯，效率也過得去：同類工具中在體驗和效率上取得平衡的一款，沒有太明顯的缺點，勉強能解決問題，用起來也不很麻煩

除去沒得選的情況，在效率沒有明顯差距時體驗更好的工具更受歡迎，效率能拉開明顯差距的工具如果沒有體驗硬傷一定會很受歡迎，這毫無疑問

然而，需要注意的是，如果體驗、效率方面的最優選項都有明顯的缺點，此時使用者更傾向於選擇一個不上不下的替代工具，而不是長期忍受其缺點：

啊。。是啊。。我不就是不想用 xxx 了

 

三.建立效能價值的度量模型

確定了關鍵目標之後，接下來的問題是如何量化效率和體驗，使之可衡量

 

衡量效率

類比工作效率的計算公式：

工作效率 = 工作總量 / 工作時間

工具效率可以定義為：

工具效率 = 問題規模 / 操作時間

問題規模仍然不是一個可量化的東西，進一步具象為時間成本：

工具效率 = （不用該工具解決所需的）時間成本 / （用該工具解決所需的）時間成本

那麼，有 3 種情況：

  • 比值等於 1：用不用工具都一樣，工具沒有帶來效率提升

  • 比值小於 1：還不如不用，因為用工具花的時間反而更多了

  • 比值大於 1：用工具效率更高，數值越大，工具帶來的效率提升越明顯

 

衡量體驗

體驗不像效率一樣能夠通過統一的規則計算得出準確的數值，但也可以建立度量模型：

 

 

體驗即產品與使用者心智的重合程度（上圖心智一行），工具的功能和效能越貼近使用者的心理預期，體驗評價越高，體現在：

  • 易用程度：從使用者心智向產品功能做對映，極致的易用是符合直覺，上手即用

  • 穩定程度：從使用者心智向產品效能做對映，極致的穩定是完全信任，從不懷疑工具會出問題

即：

工具體驗 = 易用程度 * 穩定程度

也就是說，工具體驗是易用程度與穩定程度的乘積，只要稍有不好用或不穩定的缺點，體驗就會急劇下降

 

衡量效能價值

綜上所述，工具帶來的效能價值體現在 2 方面：

效能價值 = 效率價值 * 體驗因子

其中：

  • 效率價值：降低使用者解決問題的時間成本，讓使用者更快速地解決問題

  • 體驗因子：減少使用者的心智負擔，讓使用者更輕鬆愉悅地解決問題

二者相輔相成，體驗升級可能會提高效率，效率提升同樣也可能帶動體驗

因此，在體驗有保障的前提下，可以簡單地將效率作為效能價值的衡量標準，用一個準確的比值即可量化效能價值

 

四.選擇合適的資料指標

有了度量模型後，接著將具體的資料指標框進來

 

時間成本

基於以上分析，（體驗有保障時）效率收益的直接體現是工具所能節省的時間成本，與使用者量、使用頻次、使用時長等密切相關：

  • 使用者量：累計使用者數、日/周/月 UV、日新增使用者數、日/周/月活躍使用者數（期間操作過核心功能的使用者數）

  • 使用頻次：日/周/月 PV、功能使用率、核心操作次數、日均使用次數

  • 使用時長：核心操作時長

P.S.功能使用率 = 使用某項功能的使用者數 / 總使用者數，也能用來衡量不同功能對整體的貢獻

例如：

每天節省的時間成本 = 日使用者量 * 日功能使用率 * (不用該工具解決所需的時間 - 操作時間)
  = 100 * 35% * (1.5人日 - 0.8人日）
  = 24.5人日

此外，另一些側面資料也能體現效能價值：

  • 使用者分佈：目標使用者數、使用者滲透率、各屬性使用者佔比、各屬性使用者滲透率

  • 產出結果分佈：數量、重要程度、平均時間、各屬性產出結果佔比

P.S.使用者滲透率可簡單理解為使用者滲透率 = 現有使用者數 / 目標使用者數

例如：

覆蓋2/3的目標使用者，包括60%以上的一線開發人員、10%的測試人員
覆蓋8大產品線，半年支援40多個專案，包括效果極好的xx重點專案

 

易用程度

易用程度同樣也能通過一些數值來衡量：

  • 使用者滿意度：使用者投訴與諮詢數/率、抽樣調查滿意度

  • 操作難度：誤操作次數

  • 心智負擔：幫助文件字數、注意事項條數

此外，一種產品經理常用的需求採集方法是觀察真實使用者的實際操作，將使用者遇到的挫折記錄下來，過程中不要打斷和急於提供幫助，往往能夠精準地發現一些使用問題

 

穩定程度

穩定程度可以從異常指標反映出來，例如：

  • crash 率

  • bug 數

  • 操作失敗次數

其中，操作失敗是個模糊的定義，包括執行時錯誤、服務介面錯誤、搜尋不到結果等等，穩定性問題極易破壞使用體驗，進而大幅拉低效能，比如工具總崩潰，幾乎沒法用的話，效能價值就無從說起

 

五.有資料就用資料說話

之所以要建立可量化的資料指標，是為了用資料說話，驗證此前的一些假設，為工具的迭代、優化提供指導方向：

  • 新功能是否得到了使用者的支援？功能使用率如何？宣傳渠道有沒有效果？

  • 使用者操作是否順暢，所花費的實際時間與預期是否存在較大差距？

  • 產出結果如何，ROI 是否足夠高，有沒有必要繼續做下去？

用 PM 的成熟方法論做事

 

參考資料

 

相關文章