資料應用場景之標籤管理體系

知了一笑發表於2020-12-30

一、標籤簡介

標籤概念

標籤,最初用來對實物進行分類和標記,例如標明物品的品名、重量、體積、用途等簡要資訊。後來逐漸流行到資料行業,用來標記資料,對資料快速分類獲取和分析。

標籤特點

精確描述定位和搜尋,具有生命週期的特性,可以計算,配置和規則化處理。可以用標籤來描述各種結構和非結構化[文件、圖片、視訊等]的資料,從而使這些內容被高效的管理。

  • 描述特徵:標籤[手機顏色],特徵[紅色,白色];
  • 描述規則:標籤[活躍使用者],規則[每日登陸,產生交易];

標籤價值

  • 精細運營的基礎,有效提高流量精準和效率。
  • 幫助產品快速定位需求資料,進行精準分析;
  • 能幫助客戶更快切入到市場週期中;
  • 深入的預測分析資料並作出及時反應;
  • 基於標籤的開發智慧推薦系統;
  • 基於某類下的資料分析,洞察行業特徵;

標籤的核心價值,或者說最常用的場景:實時智慧推薦,精準化數字營銷。

二、標籤定義

屬性標籤

屬性標籤是描述基本特徵,不需要行為產生,也不是基於規則引擎分析,例如基於使用者實名認證資訊,獲取:性別,生日,出生日期等特徵。變動頻率極小,且精準性較高。

行為標籤

通過不同業務渠道埋點,捕捉使用者的行為資料,基於這些資料分析,形成結果描述的標籤,例如:分析使用者「網購平臺」,得到的結果拼多多,淘寶,京東,天貓等。這些都是需要通過行為資料來判斷的標籤。

規則標籤

規則下分析出來的標籤,更多是基於產品或者運營角度來看,例如電商平臺需要對會員等級超過5級,且近7天活躍的會員發一次福利,這裡就涉及兩個標籤應用:1.「會員等級」基於什麼規則判斷;2.「近7天活躍」如何判斷,是基於登入,還是產生交易行為,這些都要可以動態配置,然後基於規則引擎把結果生成。基於動態的規則配置,經過計算和分析,生成描述的標籤,也就是規則標籤。

擬合標籤

擬合類標籤極具複雜性,通過對多種標籤智慧組合分析,給出預測描述,或者直接給出進階定義,例如所謂的讀心術,即通過多個特徵,眼神資訊,判斷人的心理活動。在機器學習中有一句話:通過長期對使用者行為的判斷和學習,機器可能比使用者還了解使用者。

三、標籤管理體系

層級分類

標籤管理的基本手段,通常以行業來分:金融,教育,娛樂等;通過多級分類細化管理。

基礎標籤

即資料的關鍵標籤,特點精確扁平,不可再細分,用來精確的描述資料,類似後設資料。當使用多個標籤組合描述資料特徵,就會形成結構化的表管理。

標籤值型別

值型別:數字,字典,布林,日期,文字框,自定義等,是對標籤具體值的管理。例如標籤「性別」,標籤值「男.女.未知」,這種典型通過羅列字典來描述的場景。

四、標籤生產流程

1、基礎流程

資料採集

資料採集的渠道相對較多,比如同一APP內的各種業務線:購物、支付、理財、外賣、資訊瀏覽等等。通過資料通道傳輸到統一的資料聚合平臺。有了這些海量日誌資料的支撐,才具有資料分析的基礎條件。不管是資料智慧,深度學習,演算法等都是建立在海量資料的基礎條件上,這樣才能獲取具有價值的分析結果。

資料加工

結合如上業務,通過對海量資料的加工,分析和提取,獲取相對精準的使用者標籤,這裡還有關鍵的一步,就是對已有的使用者標籤進行不斷的驗證和修復,尤其是規則類和擬合類的相關標籤。

標籤庫

通過標籤庫,管理複雜的標籤結果,除了複雜的標籤,和基於時間線的標籤變,標籤資料到這裡,已經具有相當大的價值,可以圍繞標籤庫開放一些收費服務,例如常見的,使用者在某電商APP瀏覽某些商品,可以在某資訊流平臺看到商品推薦。大資料時代就是這麼令人感覺智慧和窒息。

標籤業務

資料走了一大圈轉換成標籤,自然還是要回歸到業務層面,通過對標籤資料的使用者的分析,可以進行精準營銷,和智慧推薦等相關操作,電商應用中可以提高成交量,資訊流中可以更好的吸引使用者。

應用層

把上述業務開發成服務,整合到具有的應用層面,不斷提升應用服務的質量,不斷的吸引使用者,提供服務。當然使用者的資料不斷在應用層面產生,在轉到資料採集服務中,最終形成完整的閉環流程。

2、資料聚合池

  • 基於IDmapping技術,置換唯一標識[uid];
  • 基於uid關聯標籤,放入計算池;
  • 相同的uid攜帶的標籤會以貪吃蛇的方式執行;
  • 不斷豐富該uid下攜帶的標籤內容;

以此方式豐富標籤的場景,產生更大的資料價值;

五、原始碼地址

GitHub·地址
https://github.com/cicadasmile
GitEE·地址
https://gitee.com/cicadasmile

資料洞察系列文章

序號 標題
01 資料分析:基於智慧標籤,精準管理資料
02 資料分析:資料視覺化圖表,BI工具構建邏輯
03 資料分析:複雜業務場景下,量化評估流程

推薦閱讀:程式設計體系整理

序號 專案名稱 GitHub地址 GitEE地址 推薦指數
01 Java描述設計模式,演算法,資料結構 GitHub·點這裡 GitEE·點這裡 ☆☆☆☆☆
02 Java基礎、併發、物件導向、Web開發 GitHub·點這裡 GitEE·點這裡 ☆☆☆☆
03 SpringCloud微服務基礎元件案例詳解 GitHub·點這裡 GitEE·點這裡 ☆☆☆
04 SpringCloud微服務架構實戰綜合案例 GitHub·點這裡 GitEE·點這裡 ☆☆☆☆☆
05 SpringBoot框架基礎應用入門到進階 GitHub·點這裡 GitEE·點這裡 ☆☆☆☆
06 SpringBoot框架整合開發常用中介軟體 GitHub·點這裡 GitEE·點這裡 ☆☆☆☆☆
07 資料管理、分散式、架構設計基礎案例 GitHub·點這裡 GitEE·點這裡 ☆☆☆☆☆
08 大資料系列、儲存、元件、計算等框架 GitHub·點這裡 GitEE·點這裡 ☆☆☆☆☆

相關文章