大資料workshop:《線上使用者行為分析:基於流式計算的資料處理及應用》之《實時資料分析:海量日誌資料多維透視》篇

禕休發表於2017-03-22

實驗背景介紹

瞭解更多2017雲棲大會·成都峰會 TechInsight & Workshop.

本手冊為雲棲大會Workshop之《線上使用者行為分析:基於流式計算的資料處理及應用》場的《實時資料分析:海量日誌資料多維透視》篇所需。主要幫助現場學員熟悉並掌握阿里雲數加·分析型資料庫AnalyticDB的操作和使用。

實驗涉及大資料產品

前提準備

必備條件:確保已經獲取到實驗所需的阿里雲賬號和密碼。

建立AnalyticDB表

通過DMS建立AnalyticDB資料表可以通過視覺化建表和SQL視窗建表兩種模式。

1.視覺化建表

  • step1:進入DMS for AnalyticDB並使用阿里雲賬號進行登入。
  • step2:選擇進入區域華北2,繼而點選操作欄中的進入,進入workshop_demo資料庫。

進入ADS

  • step3:根據自己獲取的阿里雲賬號後三位數字選擇進入對應表組。

【說明】如當前雲賬號為train00620@aliyun-inc.com,那麼選擇進入表組workshop_620。

  • step4:右鍵對應的表組,選擇新建表進入視覺化建立表模式。

選擇新建表

  • step5:配置表名、欄位名稱、資料型別、主鍵,選擇對應表組、一級分割槽列和更新方式,如下圖所示。

其中表組選擇自己雲賬號對應的表組,一級分割槽列選擇為pv_time,分割槽方式中的雜湊分割槽數為8.

表屬性中表組選擇自己賬號所對應的表組,表名為pv_abc(abc同為賬號後三位數字),如pv_day_620。因為表名在同一個AnalyticDB資料庫中應全域性唯一。

配置表

  • step6:在新建表頁面底部,點選儲存按鈕。
  • step7:在提交變更彈出框中點選確定按鈕,直至提示“變更執行成功”,如下圖。

提交建立表

建立表成功

2.通過SQL視窗建立表

也可以通過DDL模式建立天瀏覽量pv的表,pv_day_abc(同上,abc為賬號後三位數字)。

  • step1:點選頂部選單欄中的SQL視窗,進入DDL模式。

SQL視窗

  • step2:在SQL視窗中依次複製並執行如下SQL程式碼。

執行SQL

建表SQL如下:(其中需要注意自己的表名、一級分割槽列以及建表所屬的表組tablegroup屬性。)

--統計當天實時瀏覽量pv
CREATE TABLE pv_day_620 (
pv_time varchar NOT NULL , 
pv_count bigint NOT NULL , 
primary key (pv_time)
) 
PARTITION BY HASH KEY(pv_time) PARTITION NUM 8
TABLEGROUP workshop_620
OPTIONS(UPDATETYPE=`realtime`)
;
  • step3:右鍵對應的表組,選擇重新整理檢視已經建立成功的表。

重新整理SQL


由於時間關係,關於區域訪問量、按照小時統計瀏覽量、按裝置統計瀏覽量和統計請求來源量的建表將不在此進行動手操作,但是講師會給大家講解。workshop結束後,會將所有指標統計過程的程式碼開發給大家進行體驗。

>>>點選進入《流資料處理:通過StreamSQL分析使用者行為》篇


相關文章