with as 語句真的會把資料存記憶體嘛?(原始碼剖析)
STAGE DEPENDENCIES:
Stage-1 is a root stage
Stage-6 depends on stages: Stage-1 , consists of Stage-3, Stage-2, Stage-4
Stage-3
Stage-0 depends on stages: Stage-3, Stage-2, Stage-5
Stage-8 depends on stages: Stage-0
Stage-2
Stage-4
Stage-5 depends on stages: Stage-4
Stage-7 depends on stages: Stage-8
STAGE PLANS:
Stage: Stage-1
Map Reduce
Map Operator Tree:
TableScan
alias: test
Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
Select Operator
expressions: id (type: int), source (type: string), channel (type: string)
outputColumnNames: _col0, _col1, _col2
Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
File Output Operator
compressed: false
Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
table:
input format: org.apache.hadoop.mapred.TextInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
name: default.atable
Stage: Stage-6
Conditional Operator
Stage: Stage-3
Move Operator
files:
hdfs directory: true
destination: hdfs://localhost:9000/tmp/hive/bytedance/bae441cb-0ef6-4e9c-9f7a-8a5f97d0e560/_tmp_space.db/ce44793b-6eed-4299-b737-f05c66b2281b/.hive-staging_hive_2021-03-24_20-17-38_169_5695913330535939856-1/-ext-10002
Stage: Stage-0
Move Operator
files:
hdfs directory: true
destination: hdfs://localhost:9000/tmp/hive/bytedance/bae441cb-0ef6-4e9c-9f7a-8a5f97d0e560/_tmp_space.db/ce44793b-6eed-4299-b737-f05c66b2281b
Stage: Stage-8
Map Reduce
Map Operator Tree:
TableScan
alias: atable
Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
Filter Operator
predicate: (channel = ' 直播 ') (type: boolean)
Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
Select Operator
expressions: source (type: string)
outputColumnNames: _col0
Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
Union
Statistics: Num rows: 2 Data size: 0 Basic stats: PARTIAL Column stats: NONE
File Output Operator
compressed: false
Statistics: Num rows: 2 Data size: 0 Basic stats: PARTIAL Column stats: NONE
table:
input format: org.apache.hadoop.mapred.SequenceFileInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
TableScan
alias: atable
Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
Filter Operator
predicate: (channel = 外匯跟單gendan5.com' 影片 ') (type: boolean)
Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
Select Operator
expressions: source (type: string)
outputColumnNames: _col0
Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
Union
Statistics: Num rows: 2 Data size: 0 Basic stats: PARTIAL Column stats: NONE
File Output Operator
compressed: false
Statistics: Num rows: 2 Data size: 0 Basic stats: PARTIAL Column stats: NONE
table:
input format: org.apache.hadoop.mapred.SequenceFileInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
Stage: Stage-2
Map Reduce
Map Operator Tree:
TableScan
File Output Operator
compressed: false
table:
input format: org.apache.hadoop.mapred.TextInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
name: default.atable
Stage: Stage-4
Map Reduce
Map Operator Tree:
TableScan
File Output Operator
compressed: false
table:
input format: org.apache.hadoop.mapred.TextInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
name: default.atable
Stage: Stage-5
Move Operator
files:
hdfs directory: true
destination: hdfs://localhost:9000/tmp/hive/bytedance/bae441cb-0ef6-4e9c-9f7a-8a5f97d0e560/_tmp_space.db/ce44793b-6eed-4299-b737-f05c66b2281b/.hive-staging_hive_2021-03-24_20-17-38_169_5695913330535939856-1/-ext-10002
Stage: Stage-7
Fetch Operator
limit: -1
Processor Tree:
ListSink
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946337/viewspace-2794248/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- spark 原始碼分析之十六 -- Spark記憶體儲存剖析Spark原始碼記憶體
- C語言 | 深度剖析資料在記憶體中的儲存(原碼,反碼,補碼,大小端儲存)C語言記憶體
- spark 原始碼分析之十五 -- Spark記憶體管理剖析Spark原始碼記憶體
- C++動態記憶體管理與原始碼剖析C++記憶體原始碼
- 記憶體中的資料儲存記憶體
- 幾百萬資料放入記憶體不會把系統撐爆嗎?記憶體
- Redis 記憶體優化神技,小記憶體儲存大資料Redis記憶體優化大資料
- Swoole 原始碼分析——記憶體模組之記憶體池原始碼記憶體
- spark 原始碼分析之十八 -- Spark儲存體系剖析Spark原始碼
- MySQL全文索引原始碼剖析之Insert語句執行過程MySql索引原始碼
- influxdb記憶體佔用剖析UX記憶體
- C++記憶體管理剖析C++記憶體
- Memcached記憶體管理原始碼分析記憶體原始碼
- 解讀記憶體資料庫的儲存需求RC記憶體資料庫
- 【C語言】整型在記憶體中的儲存C語言記憶體
- [20210407]分析sql語句的共享記憶體段3.txtSQL記憶體
- 資料儲存位置記憶體圖及一個題目記憶體
- 剖析記憶體中的程式之祕記憶體
- 學習 CLR 原始碼:連續記憶體塊資料操作的效能優化原始碼記憶體優化
- iOS探索 記憶體對齊&malloc原始碼iOS記憶體原始碼
- Python記憶體管理機制-《原始碼解析》Python記憶體原始碼
- Netty原始碼—六、tiny、small記憶體分配Netty原始碼記憶體
- Netty原始碼解析 -- 記憶體池與PoolArenaNetty原始碼記憶體
- Paddle原始碼之記憶體管理技術原始碼記憶體
- 記憶體資料庫如何發揮記憶體優勢?記憶體資料庫
- 【記憶體資料庫】TimesTen記憶體資料庫
- Java集合原始碼剖析——ArrayList原始碼剖析Java原始碼
- 【大頁記憶體】Oracle資料庫配置大頁記憶體記憶體Oracle資料庫
- Redis 雜湊結構記憶體模型剖析Redis記憶體模型
- 金倉資料庫KingbaseES儲存過程 RETURN語句資料庫儲存過程
- TMCache原始碼分析(一)—TMMemoryCache記憶體快取原始碼記憶體快取
- TMCache原始碼分析(一)---TMMemoryCache記憶體快取原始碼記憶體快取
- Flutter引擎原始碼解讀-記憶體管理篇Flutter原始碼記憶體
- Netty原始碼解析 -- 記憶體對齊類SizeClassesNetty原始碼記憶體
- 深入剖析 RocketMQ 原始碼 - 訊息儲存模組MQ原始碼
- Java記憶體模型(MESI、記憶體屏障、volatile和鎖及final記憶體語義)Java記憶體模型
- 我真的會失憶嗎?
- 面試官:Redis 記憶體資料滿了,會當機嗎?面試Redis記憶體