## 場景體驗目標

資料量爆發式增長的今天，數字化轉型成為IT行業的熱點，資料需要更深度的價值挖掘，應對未來不斷變化的需求。海量離線資料分析可以應用於多種商業系統環境，例如電商海量日誌分析、使用者行為畫像分析、科研行業的海量離線計算分析任務等場景。

本場景將透過開通登入EMR Hadoop叢集，簡單進行hive操作，使用hive對資料進行載入，計算等操作。展示瞭如何構建彈性低成本的離線大資料分析。

體驗此場景後，可以掌握的知識有：

1.EMR叢集的基本操作，對EMR產品有初步的瞭解

2.EMR叢集的資料傳輸和hive的簡單操作，對如何進行離線大資料分析有初步的掌握

## 背景知識

E-MapReduce（簡稱“EMR”）是雲原生開源大資料平臺，向客戶提供簡單易整合的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等開源大資料計算和儲存引擎。EMR計算資源可以根據業務的需要調整。EMR可以部署在阿里雲公有云的ECS和ACK、專有云平臺。產品文件地址：https://www.aliyun.com/product/emapreduce

產品優勢

開源生態：提供高效能、穩定版本Hadoop、Spark、Hive、Flink、Kafka、HBase、Presto、Impala、Hudi等開源大資料元件，客戶可根據場景靈活搭配使用

引擎最佳化：多引擎效能最佳化，如Spark SQL較開源版本提升6倍。採用JindoFS+OSS，保證資料可靠性基礎上，效能大幅提升

便捷運維：在阿里雲控制檯和OpenAPI方便地對叢集、節點和服務進行監控和運維操作。助您大幅提升運維工作效率，讓資料工程師更專注於業務開發

節約成本：叢集資源可自動按需匹配，您只需要按實際使用量付費，減少資源浪費成本。支援阿里雲搶佔式例項、預留例項券（RI），進一步降低成本

彈性資源：可以靈活調整叢集資源，在數分鐘內建立出基於雲伺服器 ECS、容器 ACK的叢集，快速響應業務需求

安全可靠：透過 VPC 和安全組設定叢集網路安全策略，支援Kerberos身份認證和資料加密，使用Ranger資料訪問控制。支援資料加密，保證資料安全

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210520160242573.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70)

## 登陸叢集
（尚未擁有阿里雲叢集 可以至[體驗實驗室](https://developer.aliyun.com/adc/scenario/175735954e19429cbb753cd547c00b5a)免費體驗）

## 上傳資料到HDFS
1.建立HDFS目錄。

```
hdfs dfs -mkdir -p /data/student

```
2.上傳檔案到hadoop檔案系統。
a. 使用以下命令下載示例資料檔案到伺服器內：

```
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/%E5%85%AC%E5%85%B1%E6%96%87%E4%BB%B6/u.txt
```
b. 上傳檔案到hadoop檔案系統。

```
hdfs dfs -put u.txt /data/student
```
3.檢視檔案

```
hdfs dfs -ls /data/student
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210520161105654.png)

## 使用hive建立表
1.登入hive資料庫。
```
[root@emr-header-1 ~]# hive
Logging initialized using configuration in file:/etc/ecm/hive-conf-2.3.7-1.1.7/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
```
2.建立user表。

```
CREATE TABLE emrusers (
   userid INT,
   movieid INT,
   rating INT,
   unixtime STRING ) 
  ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '\t' 
  ;
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2021052016114251.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70)
3. 從hadoop檔案系統載入資料到hive資料表。
```
 LOAD DATA INPATH '/data/student/u.txt' INTO TABLE emrusers;
```

## 對錶進行操作
1.檢視錶資料。

```
select * from emrusers limit 5;
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210520161236720.png)
2.計算count。

```
select count(*) from emrusers;
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210520161251262.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70)
3. 評級最高的三個電影。

```
select movieid,sum(rating) as rat from emrusers group by movieid order by rat desc limit 3;
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210520161304784.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70)

基於EMR離線資料分析（阿里雲）

相關文章