資料分析 | 基於智慧標籤,精準管理資料

知了一笑發表於2020-05-30

本文原始碼:GitHub·點這裡 || GitEE·點這裡

一、場景分析

1、場景案例

網際網路行業的朋友一定了解或者聽說過下列幾個場景:

阿里:千人千面,意思不同使用者使用阿里相關的產品感覺是不一樣的,例如支付寶首頁的推薦內容,和其他相關推薦流資訊是完全不同的。

騰訊:社交廣告,不同使用者的朋友圈或者其他媒體場景下的廣告資訊是不同的,會基於使用者特徵推薦。

頭條:資訊價值,根據使用者瀏覽資訊,分析使用者相關喜好,針對分析結果推薦相關的資訊流,越關注某類內容,獲取相關的資訊越多。

如上幾種場景的邏輯就是:基於不斷分析使用者的行為,生成使用者的特徵畫像,然後再基於使用者標籤,定製化的推薦相關內容。

2、基本概念

通過上面的場景,衍生出來兩個概念:

使用者畫像

使用者畫像,作為一種勾畫目標使用者、聯絡使用者訴求與設計方向的有效工具,把該使用者相關聯的資料的視覺化的展現,就形成了使用者畫像。使用者畫像在各領域得到了廣泛的應用,最初是在電商領域得到應用的,在大資料時代背景下,使用者資訊充斥在網路中,將使用者的每個具體資訊抽象成標籤,利用這些標籤將使用者形象具體化,從而為使用者提供有針對性的服務。

標籤資料

標籤在生活中非常常見,比如商品標籤,個人標籤,行業標籤,例如提到996就想到程式設計師,提到程式設計師就想到格子衫。

標籤是把分散的多方資料進行整合納入統一的技術平臺,並對這些資料進行標準化和細分,進行結構化儲存和更新管理,讓業務線可以把這些細分結果推向現有的互動營銷環境裡的平臺,產生價值,這些資料稱為標籤資料,也就是常說的標籤庫。資料標籤的概念也是在最近幾年大資料的發展中不斷火熱起來的。

標籤價值

  • 精細運營的基礎,有效提高流量精準和效率。
  • 幫助產品快速定位需求人群,進行精準營銷;
  • 能幫助客戶更快切入到市場週期中;
  • 深入的預測分析客戶並作出及時反應;
  • 基於標籤的開發智慧推薦系統;
  • 基於某類使用者的分析,洞察行業特徵;

標籤的核心價值,或者說最常用的場景:實時智慧推薦,精準化數字營銷。

二、資料標籤

1、標籤劃分

屬性標籤

屬性標籤是變化最小的,例如使用者實名認證之後,基於身份資訊獲取相關:性別,生日,出生年月,年齡,等相關標籤。變動頻率小,且最具有精準性。

行為標籤

行為標籤就是使用者通過在產品上的一系列操作,基於行為日誌分析得出:例如購買能力、消費愛好、季節性消費標籤等。在資訊流的APP上,通過相關瀏覽行為,不斷推薦使用者感興趣的內容就是基於該邏輯。

規則標籤

根據業務場景需求,配置指定規則,基於規則生成分析結果,例如:

  • 近7天活躍使用者:近7天,每天都登入的使用者作為規則生成;
  • 丟失使用者:六個月內沒有任何操作,可以發放高額優惠劵;
  • 潛在使用者:使用或產生瀏覽資料,但是未發生任何交易行為;

這類標籤可以基於動態的規則配置,經過計算和分析,生成描述結果,也就是規則標籤。

擬合標籤

擬合類的標籤最具有複雜性,通過使用者上述幾種標籤,智慧組合分析,給的預測值,例如:未婚、瀏覽相關婚禮內容,通過分析預測使用者將要舉辦婚禮,得到一個擬合結果:預測將要結婚。這個預測邏輯也可以反向執行,使用者購買嬰兒用品:預測已婚已育。

這就是資料時代常說的一句話:使用者在某個應用上一通操作之後,演算法分析的結果可能比使用者對自己的描述還要真實。

2、標籤加工流程

資料採集

資料採集的渠道相對較多,比如同一APP內的各種業務線:購物、支付、理財、外賣、資訊瀏覽等等。通過資料通道傳輸到統一的資料聚合平臺。有了這些海量日誌資料的支撐,才具有資料分析的基礎條件。不管是資料智慧,深度學習,演算法等都是建立在海量資料的基礎條件上,這樣才能獲取具有價值的分析結果。

資料加工

結合如上業務,通過對海量資料的加工,分析和提取,獲取相對精準的使用者標籤,這裡還有關鍵的一步,就是對已有的使用者標籤進行不斷的驗證和修復,尤其是規則類和擬合類的相關標籤。

標籤庫

通過標籤庫,管理複雜的標籤結果,除了複雜的標籤,和基於時間線的標籤變,標籤資料到這裡,已經具有相當大的價值,可以圍繞標籤庫開放一些收費服務,例如常見的,使用者在某電商APP瀏覽某些商品,可以在某資訊流平臺看到商品推薦。大資料時代就是這麼令人感覺智慧和窒息。

標籤業務

資料走了一大圈轉換成標籤,自然還是要回歸到業務層面,通過對標籤資料的使用者的分析,可以進行精準營銷,和智慧推薦等相關操作,電商應用中可以提高成交量,資訊流中可以更好的吸引使用者。

應用層

把上述業務開發成服務,整合到具有的應用層面,不斷提升應用服務的質量,不斷的吸引使用者,提供服務。當然使用者的資料不斷在應用層面產生,在轉到資料採集服務中,最終形成完整的閉環流程。

3、應用案例

從流程和業務層面描述都是簡單的,到開發層面都會變得複雜和不好處理,這可能就是產品和開發之間的隔閡。

標籤的資料型別

不同標籤的分析結果需要用不同的資料型別描述,在標籤體系中,常用描述標籤的資料型別如下:列舉、數值、日期、布林、文字型別。不同的型別需要不一樣的分析流程。

商品和標籤

這裡提供一個基礎案例,用商品的標籤來分析商品,例如通過商品產地,價格,狀態等條件,來查詢產品庫有多少符合條件的商品。

資料表設計

主要分四張表:標籤分類,標籤庫,標籤值,標籤資料。

CREATE TABLE `tc_tag_catalog` (
	`id` INT (11) NOT NULL AUTO_INCREMENT COMMENT '主鍵ID',
	`catalog_name` VARCHAR (50) NOT NULL DEFAULT '' COMMENT '名稱',
	`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立時間',
	`update_time` datetime DEFAULT NULL COMMENT '更新時間',
	`state` INT (1) DEFAULT '1' COMMENT '狀態1啟用,2禁用',
	PRIMARY KEY (`id`)
) ENGINE = INNODB DEFAULT CHARSET = utf8 COMMENT = '標籤層級目錄';

CREATE TABLE `tc_tag_cloud` (
	`id` INT (11) NOT NULL AUTO_INCREMENT COMMENT '主鍵ID',
	`catalog_id` INT (11) NOT NULL COMMENT '目錄ID',
	`tag_name` VARCHAR (100) DEFAULT '' COMMENT '標籤名稱',
	`tag_code` INT (11) DEFAULT NULL COMMENT '標籤編碼',
	`bind_column` VARCHAR (100) DEFAULT '' COMMENT '繫結資料列',
	`data_type` INT (2) NOT NULL COMMENT '1列舉,2數值,3日期,4布林,5值型別',
	`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立時間',
	`update_time` datetime DEFAULT NULL COMMENT '更新時間',
	`remark` VARCHAR (150) DEFAULT NULL COMMENT '備註',
	`state` INT (1) DEFAULT '1' COMMENT '狀態1啟用,2禁用',
	PRIMARY KEY (`id`)
) ENGINE = INNODB DEFAULT CHARSET = utf8 COMMENT = '標籤雲';

CREATE TABLE `tc_tag_data_enum` (
	`tag_code` INT (11) NOT NULL COMMENT '標籤編碼',
	`data_value` VARCHAR (150) NOT NULL COMMENT '列舉值',
	`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立時間',
	KEY `tag_code_index` (`tag_code`) USING BTREE
) ENGINE = INNODB DEFAULT CHARSET = utf8 COMMENT = '標籤列舉值';

CREATE TABLE `tc_tag_data_set` (
	`id` INT (11) NOT NULL AUTO_INCREMENT COMMENT '主鍵ID',
	`product_name` VARCHAR (100) DEFAULT '' COMMENT '商品名稱',
	`unit_price` DECIMAL (10, 2) DEFAULT '0.00' COMMENT '單價',
	`is_shelves` INT (1) DEFAULT '1' COMMENT '是否上架:1否,2是',
	`origin_place` VARCHAR (100) DEFAULT '' COMMENT '產地',
	`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立時間',
	PRIMARY KEY (`id`)
) ENGINE = INNODB DEFAULT CHARSET = utf8 COMMENT = '標籤資料集';

模擬入參介面

這裡的引數應該是基於需求,動態選取,進行組織到一起:

例如圖片中這裡給定的標籤值列表,稱為列舉值。

@RestController
public class AnalyzeController {

    @Resource
    private TagDataSetService tagDataSetService ;

    @GetMapping("/analyze")
    public String analyze (){
        List<TagParam> tagParamList = new ArrayList<>() ;

        TagParam tagParam1 = new TagParam(1,"產地","origin_place") ;
        List<String> valueList1 = new ArrayList<>() ;
        valueList1.add("深圳");
        valueList1.add("廣東");
        tagParam1.setValueList(valueList1);
        tagParamList.add(tagParam1) ;

        TagParam tagParam2 = new TagParam(2,"價格","unit_price") ;
        List<String> valueList2 = new ArrayList<>() ;
        valueList2.add("1999");
        tagParam2.setValueList(valueList2);
        tagParamList.add(tagParam2) ;

        TagParam tagParam3 = new TagParam(3,"生產日期","create_time") ;
        List<String> valueList3 = new ArrayList<>() ;
        valueList3.add("2020-05-01 13:43:54");
        tagParam3.setValueList(valueList3);
        tagParamList.add(tagParam3) ;

        TagParam tagParam4 = new TagParam(4,"是否上架","is_shelves") ;
        List<String> valueList4 = new ArrayList<>() ;
        valueList4.add("1");
        tagParam4.setValueList(valueList4);
        tagParamList.add(tagParam4) ;

        TagParam tagParam5 = new TagParam(5,"產品名稱","product_name") ;
        List<String> valueList5 = new ArrayList<>() ;
        valueList5.add("智慧");
        tagParam5.setValueList(valueList5);
        tagParamList.add(tagParam5) ;

        Integer count = tagDataSetService.analyze(tagParamList) ;

        return "Result:" + count ;
    }
}

引數解析查詢

通過對引數的解析,最終形成查詢的SQL語句,獲取精準的結果資料。

@Service
public class TagDataSetServiceImpl extends ServiceImpl<TagDataSetMapper, TagDataSet> implements TagDataSetService {

    @Resource
    private TagDataSetMapper tagDataSetMapper ;

    @Override
    public Integer analyze(List<TagParam> tagParamList) {
        StringBuffer querySQL = new StringBuffer() ;
        for (TagParam tagParam:tagParamList){
            querySQL.append(" AND ") ;
            querySQL.append(tagParam.getBindColumn()) ;
            // 1列舉,2數值,3日期,4布林,5值型別
            List<String> valueList = tagParam.getValueList();
            switch (tagParam.getDataType()){
                case 1:
                    querySQL.append(" IN (") ;
                    for (int i = 0 ; i < valueList.size() ;i++){
                        if (i != valueList.size()-1){
                            querySQL.append("'").append(valueList.get(i)).append("',");
                        } else {
                            querySQL.append("'").append(valueList.get(i)).append("'");
                        }
                    }
                    querySQL.append(" )") ;
                    break;
                case 2:
                    querySQL.append("=").append(tagParam.getValueList().get(0)) ;
                    break;
                case 3:
                    querySQL.append(">='").append(tagParam.getValueList().get(0)).append("'") ;
                    break;
                case 4:
                    querySQL.append("=").append(tagParam.getValueList().get(0)) ;
                    break;
                case 5:
                    querySQL.append(" LIKE '%").append(tagParam.getValueList().get(0)).append("%'") ;
                    break;
                default:
                    break;
            }
        }
        /* 最終執行的 SQL
            SELECT COUNT(*) FROM tc_tag_data_set
            WHERE 1 = 1
            AND origin_place IN ('深圳', '廣東')
            AND unit_price = 1999
            AND create_time >= '2020-05-01 13:43:54'
            AND is_shelves = 1
            AND product_name LIKE '%智慧%'
         */
        String whereCondition = String.valueOf(querySQL);
        return tagDataSetMapper.analyze(whereCondition);
    }
}

可能有人會說這不就是個查詢流程嗎?如果有這樣的疑問,把上述案例換成使用者查詢,標籤資料的價值會更直觀。

三、智慧畫像

1、基本概念

使用者畫像

作為一種勾畫目標使用者、聯絡使用者訴求與設計方向的有效工具,使用者畫像在各領域得到了廣泛的應用。最初是在電商領域得到應用的,在大資料時代背景下,使用者資訊充斥在網路中,將使用者的每個具體資訊抽象成標籤,利用這些標籤將使用者形象具體化,從而為使用者提供有針對性的服務。

行業畫像

通過行業屬性標籤,行業下使用者標籤的綜合分析,生成行業分析報告,提供極有價值的導向,這是最近兩年極其熱門的應用。

畫像補全

通過不斷分析使用者資料,豐富標籤庫,使使用者的畫像更加豐富立體。

2、畫像報告

通過標籤資料的分析,生成一份分析報告,報告內容包含豐富的使用者標籤統計資料。

例如:90後畫像報告

這個報告,網際網路使用者一定或多或少都看到過。主要是一些標籤統計,共性標籤展示,或者哪些群體對90後三觀影響最大,收入來源,學歷等各種分析解讀。

四、原始碼地址

GitHub·地址
https://github.com/cicadasmile/data-manage-parent
GitEE·地址
https://gitee.com/cicadasmile/data-manage-parent

推薦閱讀:《架構設計系列》,蘿蔔青菜,各有所需

序號 標題
01 架構設計:單服務.叢集.分散式,基本區別和聯絡
02 架構設計:分散式業務系統中,全域性ID生成策略
03 架構設計:分散式系統排程,Zookeeper叢集化管理
04 架構設計:介面冪等性原則,防重複提交Token管理
05 架構設計:快取管理模式,監控和記憶體回收策略

相關文章