大資料workshop:《線上使用者行為分析:基於流式計算的資料處理及應用》之《實時資料分析:海量日誌資料多維透視》篇
實驗背景介紹
瞭解更多2017雲棲大會·成都峰會 TechInsight & Workshop.
本手冊為雲棲大會Workshop之《線上使用者行為分析:基於流式計算的資料處理及應用》場的《實時資料分析:海量日誌資料多維透視》篇所需。主要幫助現場學員熟悉並掌握阿里雲數加·分析型資料庫AnalyticDB的操作和使用。
實驗涉及大資料產品
前提準備
必備條件:確保已經獲取到實驗所需的阿里雲賬號和密碼。
建立AnalyticDB表
通過DMS建立AnalyticDB資料表可以通過視覺化建表和SQL視窗建表兩種模式。
1.視覺化建表
- step1:進入DMS for AnalyticDB並使用阿里雲賬號進行登入。
- step2:選擇進入區域華北2,繼而點選操作欄中的進入,進入workshop_demo資料庫。
- step3:根據自己獲取的阿里雲賬號後三位數字選擇進入對應表組。
【說明】如當前雲賬號為train00620@aliyun-inc.com,那麼選擇進入表組workshop_620。
- step4:右鍵對應的表組,選擇新建表進入視覺化建立表模式。
- step5:配置表名、欄位名稱、資料型別、主鍵,選擇對應表組、一級分割槽列和更新方式,如下圖所示。
其中表組選擇自己雲賬號對應的表組,一級分割槽列選擇為pv_time,分割槽方式中的雜湊分割槽數為8.
在表屬性中表組選擇自己賬號所對應的表組,表名為pv_abc(abc同為賬號後三位數字),如pv_day_620。因為表名在同一個AnalyticDB資料庫中應全域性唯一。
- step6:在新建表頁面底部,點選儲存按鈕。
- step7:在提交變更彈出框中點選確定按鈕,直至提示“變更執行成功”,如下圖。
2.通過SQL視窗建立表
也可以通過DDL模式建立天瀏覽量pv的表,pv_day_abc(同上,abc為賬號後三位數字)。
- step1:點選頂部選單欄中的SQL視窗,進入DDL模式。
- step2:在SQL視窗中依次複製並執行如下SQL程式碼。
建表SQL如下:(其中需要注意自己的表名、一級分割槽列以及建表所屬的表組tablegroup屬性。)
--統計當天實時瀏覽量pv
CREATE TABLE pv_day_620 (
pv_time varchar NOT NULL ,
pv_count bigint NOT NULL ,
primary key (pv_time)
)
PARTITION BY HASH KEY(pv_time) PARTITION NUM 8
TABLEGROUP workshop_620
OPTIONS(UPDATETYPE=`realtime`)
;
- step3:右鍵對應的表組,選擇重新整理檢視已經建立成功的表。
由於時間關係,關於區域訪問量、按照小時統計瀏覽量、按裝置統計瀏覽量和統計請求來源量的建表將不在此進行動手操作,但是講師會給大家講解。workshop結束後,會將所有指標統計過程的程式碼開發給大家進行體驗。
>>>點選進入《流資料處理:通過StreamSQL分析使用者行為》篇
相關文章
- 大資料workshop:《雲資料·大計算:海量日誌資料分析與應用》之《社交資料分析:好友推薦》篇大資料
- 大資料workshop:《雲資料·大計算:海量日誌資料分析與應用》之《資料分析展現:視覺化報表及嵌入應用》篇大資料視覺化
- 【轉載】大資料workshop:《雲資料·大計算:海量日誌資料分析與應用》大資料
- 超3萬億資料實時分析,JCHDB助力海量資料處理
- 2017雲棲大會·杭州峰會:《線上使用者行為分析:基於流式計算的資料處理及應用》實驗環境準備
- 基於python的大資料分析-資料處理(程式碼實戰)Python大資料
- 【安全告警資料分析之道:一】資料透視篇
- 快速入門pandas進行資料探勘資料分析[多維度排序、資料篩選、分組計算、透視表](一)排序
- 資料分析--資料預處理
- 【雲端大資料實戰】大資料誤區、大資料處理步驟分析大資料
- 北京雲棲大會workshop:《資料處理:資料建模與加工》篇
- 基於大資料審計的資訊保安日誌分析法大資料
- 處理海量資料的模式MapReduce,大規模資料集的並行運算模式並行
- Excel高階應用教程:資料處理與資料分析Excel
- 關於海量資料處理分析的經驗總結
- 大資料時代,野心勃勃的MongDB為你處理海量資料!大資料
- 海量資料處理
- 雲資料庫HBase大資料儲存及實時分析場景應用解析資料庫大資料
- 尋路大資料:海量資料與大規模分析大資料
- 大資料下網站資料分析應用大資料網站
- 海量資料處理_資料泵分批資料遷移
- 6個用於大資料處理分析的最好工具大資料
- 【大資料之網站使用者行為分析】大資料網站
- 大資料常見的資料分析思維大資料
- Excel資料分析入門-資料透視表Excel
- 實時計算無線資料分析
- 【Python資料分析基礎】: 資料缺失值處理Python
- Python資料分析基礎: 資料缺失值處理Python
- 大資料實時多維OLAP分析資料庫Apache Druid入門分享-上大資料資料庫ApacheUI
- 大資料實時多維OLAP分析資料庫Apache Druid入門分享-下大資料資料庫ApacheUI
- 基於Spark的大資料實時處理開課Spark大資料
- LoRa資料包結構分析及資料傳輸時間的計算
- 基於flink的電商使用者行為資料分析【3】| 實時流量統計
- 我的《海量資料處理與大資料技術實戰》出版啦!大資料
- storm流式大資料處理流行嗎ORM大資料
- 三分鐘瞭解實時流式大資料分析大資料
- 海量資料處理2
- 海量資料處理 (轉)