使用者標籤體系的設計和效果評估!
導讀:隨著網際網路流量逐漸見頂,傳統的粗狂式的買量獲客衝業績很快會成為業務發展的瓶頸。對於中大型網際網路公司來說,精細化的運營和精準化營銷是企業運營老戶,發揮存量使用者最大價值的必經之路。新的流量窪地越來越少,企業一方面要做到精準獲客,另一方面也要使出渾身解數提升使用者留存,最大化挖掘使用者價值。運營的精準化需要海量資料來支撐,而建設一個資料中臺恰恰是重中之重,其中使用者標籤體系又是資料中臺建設的基礎能力和關鍵設施。
— 01 —
什麼是使用者標籤體系 ?
使用者標籤是構成使用者畫像的核心因素,是將使用者在平臺內所產生的業務資料,行為資料,日誌資料等分析提煉後生成具有差異性特徵的形容詞。即使用者透過平臺,在什麼時間什麼場景下做了什麼行為,平臺將使用者所有行為資料提煉出來形成支撐業務實現的視覺化資訊。
使用者標籤可以有很多種存在形式,可以是使用者的自然屬性,可以是對使用者交易、資產資料的統計指標,也可以是基於某些規則,總結出的一些分層。無論是哪種形式,都是對使用者的某個維度特徵做描述與刻畫,讓使用者能快速獲取資訊。
個人認為,好的標籤需要具備如下四點特徵:
原子性。即使用者標籤是使用者畫像特徵刻畫的最細粒度。
可複用性。標籤可以被多次使用,而非一次性標籤
可度量性。標籤值和價值可被度量和計算。
可組合性。標籤可被自由組合生成組合標籤。
— 02 —
使用者標籤有哪些分類?
標籤有多種分類方式。
1. 從更新頻率來分:靜態標籤、動態標籤
例如“性別”這個標籤,一般來說是不會隨著時間變動的,所以它屬於靜態標籤;而“最近一次訪問時間”會隨著每次使用者登入而更新,也就是動態標籤。
2. 從開發方式分:事實標籤、規則標籤、預測標籤
這一種分類方式是從技術開發角度區分的。
“事實標籤”是從底層資料表中取出原始資料,進行簡單的加減乘除運算得到的標籤;例如“最近一次登入距今天數”這個標籤,它反映基本事實。
“規則標籤”則是進行了業務定義後的標籤;例如“流失使用者”這個標籤,基於我們的業務認知,可以將“最近一次登入距今天數”大於30天的使用者定義為流失使用者,不同公司會有自己的定義方式。
“預測標籤”是需要利用演算法分析預測才能得到的標籤了;例如電商產品常透過使用者的下單行為,去猜測使用者的性別;通常演算法類標籤涉及複雜的邏輯與權重,開發難度大,在所有標籤中佔比不高。
3. 從生成規則分:單一標籤、複合標籤
一般來說,上述的統計類標籤可以說是單一標籤,而規則類和演算法類標籤就是需要多個單一標籤組合而成的複合標籤。
4. 從層級上分:一級標籤、二級標籤、三級標籤等
同樣,層級也是為了業務理解更加有序才產生的,例如一級標籤是大類,按具體行業和業務可以分為:人口屬性,行為屬性,營銷屬性,商業屬性等。二級標籤可以具體下分,比如商業屬性下二級標籤可以分為優惠券,三級標籤分為優惠券-敏感度高/中/低使用者。當然,如果業務邏輯複雜,可能還會有三級標籤。
— 03 —
為什麼要建設使用者標籤體系?
以作者多年從業經歷來看,一般的中大型公司或多或少都已經有建設自己的標籤,但實際使用效果卻差強人意,很難驅動業務產生價值。我總結出網際網路行業搭建統一的使用者標籤體系要解決的常見痛點:
1. 標籤口徑不一致
使用者畫像、精準營銷平臺人群圈選、演算法特徵都會涉及到使用者標籤,各個系統存在標籤同義不同值、同值不同義的問題,舉個例子:互金信貸行業的透過率,就有至少三種不同的統計口徑,風控部門是以授信透過或者稽核透過為準,財務部門以放款為準等。不同部門因側重點不一樣導致對這個指標的定義不一樣。企業建設統一的標籤平臺規範口徑也是資料中臺的重要內容。
2. 標籤指標重複建設
使用者標籤分散,重複建設,難以統一管理。形成了區域性資料孤島,存在重複建設的問題。
比如和標籤生產相關的團隊就有好幾個:資料團隊模型開發人員要做自己的模型變數標籤,存在多個模型工程師重複建設同一標籤而產生大量同質的標籤表;資料分析團隊歸納業務需求總結出來的標籤,比如使用者生命週期標籤,若分析團隊位於不同部門則重複建設情況更為嚴重,再加上技術開發同學做的營銷平臺,訊息系統,優惠券平臺等需要打常規的使用者標籤來選人等等。
3. 標籤生產週期長
網際網路公司的標籤生產流程大抵如下:
業務提標籤需求—>資料對接人(一般是資料PM or 分析師)收集轉化—> 提交給資料開發(離線開發與實時開發) —> 資料開發按業務邏輯清洗資料,匯入平臺系統—> 後臺開發 做成資料服務統一對外輸出標籤。
一般如果沒有做標籤上線流程的配置化,此時還需要前端開發介入,整個流程耗時長,平均需求產生到上線耗時一週以上甚至更長時間,和同行朋友聊,有些國有企業生產常規運營標籤耗時竟然可以達到1個月,這樣的生產流程根本無法滿足業務快速發展的需求。
4. 業務運營靠經驗,手工操作流程多週期長
在缺乏統一標籤平臺或者沒有精準圈人平臺之前,以信貸行業為例,一般運營同學做活動的流程如下:
活動前:運營提選人需求->分析師提數—>風控人員規則過濾使用者—> 運營手動分組
運營將名單匯入到營銷系統 —> 選擇觸達方式(訊息/優惠券等)和觸達週期(一次性/週期性/實時等) -> 觸達使用者
活動後:運營將名單再次給分析師 —> 分析師提數給運營—> 運營分析活動效果
這裡面存在很多拍腦袋決策的節點,比如運營圈人規則看不到人群數量,容易出現圈定人群樣本量過少無法進行營銷活動;運營在看不到人群畫像和分佈的情況下,手動盲目對人群進行分組AB Test,容易導致AB Test結論不可靠。
活動效果分析沒有橫向和縱向對比,無法客觀得出活動到底做的怎麼樣。當然這裡面還存在諸多手工操作的地方和維護困難的地方,比如每次圈人過風控規則,圈人後手工匯入營銷系統,手動將名單到給分析師提數做效果分析等。
基於以上種種痛點,那如何建設一個統一可用的使用者標籤體系呢?
— 04 —
如何設計使用者標籤體系?
核心原則:從業務中來,到業務中去;以終為始,怎麼用來倒推怎麼設計
任何脫離業務自造的標籤都是自嗨,這也是很多大公司資料部門容易犯的錯,資料部門想要從資料層面去驅動業務,基於自身過往從業經驗,拍腦袋梳理和設計了上百個標籤,卻發現業務根本不買單。資料部門價值體現的唯一方式就是融入業務團隊,知道業務來龍去脈和痛點。總結下來正確的順序是明確商業目的,梳理業務流程,收集業務痛點,彙集整理標籤,最後才是開發標籤反哺業務。基於作者多年經驗,如何設計標籤可以歸納為以下兩種方法:
方法一:基於業務主流程來設計標籤
以信貸行業為例,梳理後信貸業務主流程如下:
啟用 —>註冊—>登入—>認證—>申請進件—>風控—>放款—>還款—> 逾期催收
以啟用到註冊流程為例,為精準化識別使用者渠道及後續做渠道成本結構最佳化,我們這個環節可能需要的標籤是註冊渠道,獲客渠道,渠道型別,結算型別,獲客成本,註冊裝置等
再以申請進件到風控流程為例,結合流程中常見的業務場景,可能需要的標籤:首次/最近一次申請時間/產品/額度/是否透過,總申請次數/金額,拒絕次數/放棄次數,透過型別(人工/系統自動)等
方法二:基於業務場景來設計標籤
以典型運營場景為例,信貸業務主要靠老戶復貸掙錢,促老戶復貸是經常會做的一個運營活動,思考活動運營的三個要素(活動物件,在什麼場景,執行什麼策略),我們需要的標籤可能是使用者型別(新老戶),最近一次成功還款時間/金額,最近一次借款產品,產品偏好,優惠券敏感度/響應度,額度敏感度/響應度 等等
方法三:基於北極星指標自頂向下設計標籤
一般公司每年會基於大的戰略方向制定公司整體的北極星指標(指引業務發展的指標),然後基於整體業務指標自頂向下拆分到各業務部門,各業務部門再根據運營策略拆解成更細的指標。
舉個例子,某信貸公司制定當年度北極星指標為:利潤,註冊量,放款量,逾期率。其中利潤為主指標,其他三個指標圍繞利潤指標進行平衡。想提升利潤核心是提升放款量,但提升放款量會帶來獲客成本上升以及壞賬成本上升,所以這是三者的平衡。
我們先來拆解下利潤指標:
利潤 = 收入 – 成本
收入 = 放款人數 * 人均放款金額 * 收益率
成本 = 獲客成本 + 壞賬成本
提升放款人數:常見的運營手段 有低成本獲客,最佳化各環節轉化率,提升借款透過率,涉及到的標籤類別是 獲客場景標籤,各節點是否完成轉化標籤,借款行為場景標籤等
提升人均放款金額:需要配合做使用者運營,比如單期轉分期,短期轉長期,優質使用者提額,促進老使用者復借等,涉及到是單期/累計 借款金額/筆數/最近一筆距今時長,使用者產品偏好,使用者資質,使用者等級,續貸間隔,續貸次數,使用者生命週期等標籤等。
下面我們看看成本指標,信貸公司最大的成本在於兩塊:獲客成本和壞賬成本
降低獲客成本:本質上需要接入更多優質渠道以及最佳化CPA/CPS結算的轉化率,基於此這裡涉及到的標籤是 註冊時間,註冊渠道,獲客渠道,渠道型別,結算型別,獲客成本,註冊裝置等
降低壞賬:本質上是對逾期使用者進行管理,需要很多貸款資訊標籤和逾期資訊標籤,比如累計逾期金額,累計逾期筆數,最近一次逾期時間,最長逾期時間等等
此外,設計一個好的使用者標籤平臺還需要考慮如下特徵:
1. 資料和業務團隊雙贏策略— 標籤生成自助化
讓使用方自助生成標籤是資料團隊和業務團隊雙贏的策略,即提高了業務團隊運營的效率,解決了標籤的業務欄位邏輯溝通的成本,同時釋放了資料團隊開發標籤維護標籤的工作。標籤生成自助化前期開發成本較高,適用於在中期上線第一版後再來落地。具體如何設計自助化打標功能,可以在後續文章中逐一分享。
2. 標籤系統價值的可持續性— 建立有效的標籤管理維護機制
標籤的維護包括標籤規則及元資訊維護,標籤生產排程機制及資訊同步,有統一的輸出介面。
這是持續釋放使用者標籤平臺的重要步驟,也是容易被忽視的環節。
3. 標籤平臺的運營
標籤平臺是資料產品,既然是產品就需要做運營,讓我們的使用者更好更高效的使用起來。及時關注使用者反饋,經常做一些運營手段來觸發使用者,讓產品和使用者互動起來。這裡引申出一個更大的話題:如何做資料產品的運營?這個話題後續再逐步分享。
— 05 —
如何評估使用者標籤體系的效果?
為什麼要進行標籤效果評估?
對標籤的質量進行科學完整地評估,有助於控制標籤質量,指導標籤的管理者、開發者不斷地提升標籤質量。透過建立一套完整的評估體系,對於質量過差的標籤,可以考慮不進行上線,等達到基本的質量要求後才能開放給業務使用。不然,既對業務帶來不了價值,也容易讓標籤畫像系統失去使用者的信任。
如何評估?
可以從以下三層來評估標籤效果和價值
1. 資料層面
一般使用三個指標:覆蓋度,準確度,穩定性
1)覆蓋度是指在一個標籤中,有業務含義的人群數量與總人群數量的比例。
舉個例子:【優惠券敏感度】標籤,全量使用者是100萬的規模,其中20萬打上了“高”標籤,20萬打上了“中”標籤,30萬打上了“低”標籤,其他30萬人都沒有打上任何標籤。那麼,【優惠券敏感度】標籤的覆蓋度就是70%。這個覆蓋度還算是可以,如果
覆蓋度過低可能會有下面的負面影響:
用標籤進行人群圈選的時候,人數過少,無法滿足運營活動對樣本量的最低要
用標籤統計平臺使用者的特徵時,和真實情況會有統計偏差,即樣本無法代表整體。
一般而言,使用者自己填的標籤和模型演算法打出來的標籤,覆蓋度會偏低。
2)準確度是指給使用者打的標籤中,準確反映事實的人群數量與總人群數量的比例。
舉例子:【性別】標籤,總使用者100萬,真實情況是男60萬,女40萬,系統打標成男50萬,女30萬,其他20萬 根據交叉矩陣,真實是男且標籤是男使用者40萬,真實是女且標籤為女使用者25萬,則標籤準確率為 (40 + 25)/ 80 = 81.25%
真實情況是現實世界標籤的準確度往往是很難評估的。一般會用一些外圍樣本資料來輔助驗證,比如對於性別標籤,可以抽樣讓客服電話調研拿到真實性別資料,透過樣本來估算整體。
3)穩定性是指給使用者打的標籤中,能在指定時間點前被準確計算出來的次數比例。
舉個例子,信貸行業中的關聯指標【通訊錄中近30天有借款逾期人員的比例】,這類指標需要計算幾個億的通訊錄表,和業務表關聯好幾次,計算複雜度高,高峰時期容易跑不出來。穩定性標籤還要根據各標籤的計算複雜度來綜合評估,一般靜態類標籤穩定性比較高,演算法預測類標籤複雜計算邏輯或者關聯上下游表比較多的標籤在特殊情況下穩定性會差一些。一般而言,穩定性要達到99%以上才能被業務接受,關鍵時刻不能掉鏈子。
2. 應用層面
1) 使用者覆蓋度
可以使用兩個指標衡量覆蓋度:產品觸達率和產品開啟率
產品觸達率 = 觸達使用者數 / 目標使用者數
舉個例子:標籤產品目標使用者(產品,運營)共計100人,知道該產品的使用者80人,則觸達率為 80%
產品使用率 = 使用過的使用者數 / 觸達使用者數
2)標籤使用度
使用度可以綜合從以下幾個指標評估,包括 使用次數,使用熱度,服務呼叫次數。可考慮人均聚合或者階段彙總聚合。對於應用使用度低的標籤,可以針對性地進行分析,不斷提升每個標籤的使用價值。
3. 業務層面
業務價值是業務人員對標籤系統的主要考核價值。標籤系統業務層面的應用很廣泛,從精準營銷,精細化運營到個性化推薦,廣告匹配系統,BI系統。以精準營銷平臺為例,一般業務價值可以從降本增效來考慮,比如營銷成本降低,營銷頻次提高,營銷人效提升等角度來衡量。
參考指標:
營銷成本降低:以前運營圈人活動平均響應3天 -> 現在0.5天
覆蓋場景數提升:以前一週內覆蓋50%運營場景 —> 一週內覆蓋90%運營場景
觸達使用者數提升:每日觸達2萬使用者 —> 每日可觸達10萬使用者
營銷ROI提升:
另外一個比較好的指標就是業務運營的ROI,業務如果用了一個標籤,對一群人進行了投放,ROI是日常投放的好幾倍,那這個標籤的價值可以說是毋庸置疑了。這時,我們可以說這個標籤的業務價值很高。標籤系統實際上可以大幅降低了業務運營的成本,導致整體ROI提升,這需要和業務配合一起做評估。比如有個同類活動在使用標籤系統前的ROI和使用後的ROI對比,更會彰顯標籤系統的價值。
如果能找到一些和業務核心KPI直接掛鉤的評估手段,那會更加彰顯標籤平臺的重要性。
這裡有個問題:如何去準確統計這些指標,需要資料同事和業務同事溝通敲定
標籤體系的業務價值衡量,確實是個難點,很難直接評估。而業務向上彙報過程中往往會將“標籤平臺”價值一帶而過,強調“人”和“運營”的重要性而忽視“工具”和“平臺”的重要性。這就需要資料同學自己具備業務價值量化評估的能力,一個好的方式是多和業務部門合作,參加業務部門運營活動會議,用資料去影響和驅動業務部門,讓業務離不開資料團隊,自然業務就會在給大老闆的彙報中多多提現“資料標籤”的價值。這樣才能實現業務和資料團隊的雙贏局面。
— 06 —
使用者標籤體系總結
總結下全文的創作結構如下:
1. 什麼是使用者標籤體系
2. 為什麼要建設使用者標籤體系
3. 如何設計使用者標籤體系
4. 如何評估使用者標籤效果
使用者標籤體系是個龐大的系統工程,不可能一蹴而就,需要隨著業務發展情況而不斷迭代完善和豐富。在設計過程中,需要拋棄一上來就大而全的設計理念,根據業務需求場景來逐步落實和豐富標籤,畢竟能產生業務價值才是評價標籤體系的根本。還要不斷研究和學習業界優秀的標籤平臺(CDP/DMP平臺)會給自己設計產品帶來一些靈感,比如業界做的比較好的像 神策資料使用者畫像,騰訊廣點通,阿里達摩盤,位元組跳動CDP等。
企業在發展的過程中,要依據具體的資料成熟度和資料應用度來衡量是否有必要建立自己的使用者標籤體系。大廠標配的CDP平臺並非適用於所有公司。希望業界朋友都能認識到資料驅動的價值,而資料產品存在的本質也就是 降低企業經營和業務決策的成本,不是嗎?
來自 “ PMCAFF ”, 原文作者:乘風隨行;原文連結:https://coffee.pmcaff.com/article/xeBOgnrEBM/coffee,如有侵權,請聯絡管理員刪除。
相關文章
- IC設計行業erp系統評估的判斷標準行業
- Simple TPU的設計和效能評估
- 資料產品價值評估體系與效果提升方法
- [轉]從EXIF標籤中估計焦距
- 標籤評分:海量標籤如何進行系統治理?
- 多標籤分類的結果評估---macro-average和micro-average介紹Mac
- 軟體體系結構評估
- hive使用者標籤體系的任務怎麼寫Hive
- 【推薦系統】評估指標總結指標
- 流量渠道資料分析方法與價值評估指標體系指標
- 可信行業雲評估結果出爐 雲端計算標準體系建設更進一步行業
- properties標籤和typeAliases標籤
- 六種GAN評估指標的綜合評估實驗,邁向定量評估GAN的重要一步指標
- 向量設計工具PaintCode如何使用標籤和畫布?AI
- 迴歸模型-評估指標模型指標
- 地圖POI類別標籤體系建設實踐地圖
- 評估指標與評分(上):二分類指標指標
- 小程式標籤頁切換效果
- 工程團隊的10大評估指標指標
- 分類演算法的評估指標演算法指標
- CTR:短視訊融合傳播效果評估
- 系統效能評價---效能評估
- 推薦系統的評估方法
- 淺談使用者標籤的實現困境和搭建方法
- 計算機系統4-> 計組與體系結構1 | 基礎概念與系統評估計算機
- 端到端自動駕駛的開環評估和閉環評估自動駕駛
- 使用者畫像標籤體系——從零開始搭建實時使用者畫像(三)
- 指標和標籤的基礎理解指標
- 長上下文語言模型評估體系探析模型
- 標籤管理體系之業務應用
- OKR與多維度績效指標評估體系融合,有效提升員工執行OKR指標
- mybatis的 choose -- when test -- otherwise 標籤和 if test 標籤的區別MyBatis
- bbs論壇 在前端加上@評論 a標籤 跳轉到使用者介面前端
- 精益管理培訓的效果可以透過哪些方式評估?
- 遊戲運營活動效果分析(五):各類活動效果評估遊戲
- matplotlib畫圖教程,設定座標軸標籤和間距
- Script標籤的async和defer
- 使用者是如何評估,OA辦公系統,實際的易用性