一文在手，全部都有 : 大資料命令全集2.0升級版

前言

上一版大資料命令發表將近快一年了，發表完到現在的時間，一直在收集和補充中，現 2.0版本分享給大家，方便在學習與開發過程中使。

Linux

1. vi/vim

一般模式

編輯模式

指令模式

2. RPM

RPM查詢命令：rpm -qa |grep firefox

RPM解除安裝命令：

rpm -e xxxxxx

rpm -e --nodeps xxxxxx（不檢查依賴）

RPM安裝命令：

rpm -ivh xxxxxx.rpm

rpm -ivh --nodeps fxxxxxx.rpm（--nodeps，不檢測依賴進度）

3. 登入與登出

4. 目錄與檔案

5. 檔案內容處理

6. 檔案搜尋

7. 壓縮

8. 磁碟空間

9. 系統負載

Shell

輸入/輸出重定向

指令碼編輯

Git

基本命令

分支管理命令

Hadoop

啟動類命令

hadoop fs/hdfs dfs 命令

yarn命令

Zookeeper

啟動命令

基本操作

四字母命令

Kafka

注: 這裡機器我只寫一個。命令你們也可使用 ./bin/xx.sh (如：./bin/kafka-topics.sh)

檢視當前伺服器中的所有topic

kafka-topics --zookeeper xxxxxx:2181 --list --exclude-internal 

說明：

exclude-internal：排除kafka內部topic

比如： --exclude-internal  --topic "test_.*"

建立topic

kafka-topics --zookeeper xxxxxx:2181  --create 
--replication-factor 
--partitions 1 
--topic topic_name

說明：

--topic 定義topic名

--replication-factor  定義副本數

--partitions  定義分割槽數

刪除topic

注意: 需要server.properties中設定delete.topic.enable=true否則只是標記刪除

kafka-topics --zookeeper xxxxxx:2181 --delete --topic topic_name

生產者

kafka-console-producer --broker-list xxxxxx:9092 --topic topic_name

可加：--property parse.key=true（有key訊息）

消費者

kafka-console-consumer --bootstrap-server xxxxxx:9092 --topic topic_name

注：可選

--from-beginning：會把主題中以往所有的資料都讀取出來

--whitelist '.*' ：消費所有的topic

--property print.key=true：顯示key進行消費

--partition 0：指定分割槽消費

--offset：指定起始偏移量消費

檢視某個Topic的詳情

kafka-topics --zookeeper xxxxxx:2181 --describe --topic topic_name

修改分割槽數

  kafka-topics --zookeeper xxxxxx:2181 --alter --topic topic_name --partitions 6

檢視某個消費者組資訊

kafka-consumer-groups --bootstrap-server  xxxxxx:9092  --describe --group group_name

刪除消費者組

kafka-consumer-groups --bootstrap-server  xxxxxx:9092  ---delete --group group_name

重置offset

kafka-consumer-groups --bootstrap-server  xxxxxx:9092  --group group_name

--reset-offsets --all-topics --to-latest --execute

leader重新選舉

指定Topic指定分割槽用重新PREFERRED：優先副本策略 進行Leader重選舉

kafka-leader-election --bootstrap-server xxxxxx:9092 
--topic topic_name --election-type PREFERRED --partition 0

所有Topic所有分割槽用重新PREFERRED：優先副本策略 進行Leader重選舉

kafka-leader-election --bootstrap-server xxxxxx:9092 
--election-type preferred  --all-topic-partitions

查詢kafka版本資訊

kafka-configs --bootstrap-server xxxxxx:9092 --describe --version

增刪改配置

topic新增/修改動態配置

kafka-configs --bootstrap-server xxxxxx:9092
--alter --entity-type topics --entity-name topic_name 
--add-config file.delete.delay.ms=222222,retention.ms=999999

topic刪除動態配置

kafka-configs --bootstrap-server xxxxxx:9092 
--alter --entity-type topics --entity-name topic_name 
--delete-config file.delete.delay.ms,retention.ms

持續批次拉取訊息

單次最大消費10條訊息(不加引數意為持續消費)

kafka-verifiable-consumer --bootstrap-server xxxxxx:9092 
--group group_name
--topic topic_name --max-messages 10

刪除指定分割槽的訊息

刪除指定topic的某個分割槽的訊息刪除至offset為1024

json檔案offset-json-file.json

{
    "partitions": [
        {
            "topic": "topic_name",
            "partition": 0,
            "offset": 1024
        }
    ],
    "version": 1
}

kafka-delete-records --bootstrap-server xxxxxx:9092 
--offset-json-file offset-json-file.json

檢視Broker磁碟資訊

查詢指定topic磁碟資訊

kafka-log-dirs --bootstrap-server xxxxxx:9090 
--describe --topic-list topic1,topic2

查詢指定Broker磁碟資訊

kafka-log-dirs --bootstrap-server xxxxxx:9090 
--describe --topic-list topic1 --broker-list 0

Hive

啟動類

hive 啟動後設資料服務（metastore和hiveserver2）和優雅關閉指令碼

啟動： hive.sh start
關閉： hive.sh stop
重啟： hive.sh restart
狀態： hive.sh status

指令碼如下

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs

mkdir -p $HIVE_LOG_DIR

#檢查程式是否執行正常，引數1為程式名，引數2為程式埠
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服務已啟動"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服務已啟動"
}

function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服務未啟動"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服務未啟動"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服務執行正常" || echo "Metastore服務執行異常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服務執行正常" || echo "HiveServer2服務執行異常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

常用互動命令

SQL類(特殊的)

內建函式

（1） NVL

給值為NULL的資料賦值，它的格式是NVL( value，default_value)。它的功能是如果value為NULL，則NVL函式返回default_value的值，否則返回value的值，如果兩個引數都為NULL ，則返回NULL

select nvl(column, 0) from xxx；

（2）行轉列

（3）列轉行(一列轉多行)

Split(str, separator)： 將字串按照後面的分隔符切割，轉換成字元array。

EXPLODE(col)：將hive一列中複雜的array或者map結構拆分成多行。

LATERAL VIEW

用法：

LATERAL VIEW udtf(expression) tableAlias AS columnAlias

解釋：lateral view用於和split, explode等UDTF一起使用，它能夠將一行資料拆成多行資料，在此基礎上可以對拆分後的資料進行聚合。

lateral view首先為原始表的每行呼叫UDTF，UDTF會把一行拆分成一或者多行，lateral view再把結果組合，產生一個支援別名表的虛擬表。

準備資料來源測試

SQL

SELECT movie,category_name 
FROM movie_info 
lateral VIEW
explode(split(category,",")) movie_info_tmp  AS category_name ;

測試結果

《功勳》      記錄
《功勳》      劇情
《戰狼2》     戰爭
《戰狼2》     動作
《戰狼2》     災難

視窗函式

（1）OVER()

定分析函式工作的資料視窗大小，這個資料視窗大小可能會隨著行的變而變化。

（2）CURRENT ROW（當前行）

n PRECEDING：往前n行資料

n FOLLOWING：往後n行資料

（3）UNBOUNDED（無邊界）

UNBOUNDED PRECEDING 前無邊界，表示從前面的起點

UNBOUNDED FOLLOWING後無邊界，表示到後面的終點

SQL案例：由起點到當前行的聚合

select 
    sum(money) over(partition by user_id order by pay_time rows between UNBOUNDED PRECEDING and current row) 
from or_order;

SQL案例：當前行和前面一行做聚合

select 
    sum(money) over(partition by user_id order by pay_time rows between 1 PRECEDING and current row) 
from or_order;

SQL案例：當前行和前面一行和後一行做聚合

select 
    sum(money) over(partition by user_id order by pay_time rows between 1 PRECEDING AND 1 FOLLOWING )
from or_order;

SQL案例：當前行及後面所有行

select 
    sum(money) over(partition by user_id order by pay_time rows between current row and UNBOUNDED FOLLOWING  )
from or_order;

（4）LAG(col,n,default_val)

往前第n行資料，沒有的話default_val

（5）LEAD(col,n, default_val)

往後第n行資料，沒有的話default_val

SQL案例：查詢使用者購買明細以及上次的購買時間和下次購買時間

select 
 user_id,,pay_time,money,
 
 lag(pay_time,1,'1970-01-01') over(PARTITION by name order by pay_time) prev_time,
 
 lead(pay_time,1,'1970-01-01') over(PARTITION by name order by pay_time) next_time
from or_order;

（6）FIRST_VALUE(col,true/false)

當前視窗下的第一個值，第二個引數為true，跳過空值。

（7）LAST_VALUE (col,true/false)

當前視窗下的最後一個值，第二個引數為true，跳過空值。

SQL案例：查詢使用者每個月第一次的購買時間 和 每個月的最後一次購買時間

select
 FIRST_VALUE(pay_time) 
     over(
         partition by user_id,month(pay_time) order by pay_time 
         rows between UNBOUNDED PRECEDING and UNBOUNDED FOLLOWING
         ) first_time,
 
 LAST_VALUE(pay_time) 
     over(partition by user_id,month(pay_time) order by pay_time rows between UNBOUNDED PRECEDING and UNBOUNDED FOLLOWING
     ) last_time
from or_order;

（8）NTILE(n)

把有序視窗的行分發到指定資料的組中，各個組有編號，編號從1開始，對於每一行，NTILE返回此行所屬的組的編號。（用於將分組資料按照順序切分成n片，返回當前切片值）

SQL案例：查詢前25%時間的訂單資訊

select * from (
    select User_id,pay_time,money,
    
    ntile(4) over(order by pay_time) sorted
    
    from or_order
) t
where sorted = 1;

4個By

（1）Order By

全域性排序，只有一個Reducer。

（2）Sort By

分割槽內有序。

（3）Distrbute By

類似MR中Partition，進行分割槽，結合sort by使用。

（4） Cluster By

當Distribute by和Sorts by欄位相同時，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外還兼具Sort by的功能。但是排序只能是升序排序，不能指定排序規則為ASC或者DESC。

在生產環境中Order By用的比較少，容易導致OOM。

在生產環境中Sort By+ Distrbute By用的多。

排序函式

（1）RANK()

排序相同時會重複，總數不會變

1
1
3
3
5

（2）DENSE_RANK()

排序相同時會重複，總數會減少

1
1
2
2
3

（3）ROW_NUMBER()

會根據順序計算

1
2
3
4
5

正規表示式

select regexp_extract('x=a3&x=18abc&x=2&y=3&x=4','x=([0-9]+)([a-z]+)',2)

得到結果：abc

日期函式

datediff：返回結束日期減去開始日期的天數

datediff(string enddate, string startdate) 

select datediff('2021-11-20','2021-11-22')

date_add：返回開始日期startdate增加days天后的日期

date_add(string startdate, int days) 

select date_add('2021-11-20',3)

date_sub：返回開始日期startdate減少days天后的日期

date_sub (string startdate, int days) 

select date_sub('2021-11-22',3)

trunc 函式的用法

時間相關函式處理案例

1. 取得當前日期時間：

--取得當前日期：
select current_date();
輸出：2021-08-14
--取得當前日期時間：
select current_timestamp();
輸出：2021-08-14 13:14:57
--hive取得當前時間戳：
select unix_timestamp();
輸出：1628911641

2. 日期時間轉日期函式，返回日期時間欄位中的日期部分，

-- 說明：字串必須為：yyyy-MM-dd格式。

select to_date('2021-08-14 13:34:12');
輸出：2021-08-14

3. 時間戳到轉時間格式

--說明: 轉化UNIX時間戳（從1970-01-01 00:00:00 UTC到指定時間的秒數）到當前時區的時間格式

select from_unixtime(1323308945,’yyyy-MM-dd’);
輸出：2011-12-08
select from_unixtime(1323308945,’yyyyMMdd’);
輸出：20111208
--取得當前時間，相當於select current_timestamp()；
select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:dd:ss');
輸出：2021-08-14 03:14:57

4. 日期、時間戳、字串型別格式化輸出標準時間格式

select date_format(current_timestamp(),'yyyy-MM-dd HH:mm:ss');
輸出：2021-08-14 11:14:46
select date_format(current_date(),'yyyy-MM-dd');
輸出：2021-08-14
select date_format('2021-08-14','yyyy-MM-dd HH:mm:ss'); 
輸出：2021-08-14 00:00:00

5. 獲取當前時間的unix時間戳和日期轉UNIX時間戳函式

select unix_timestamp();
輸出：1628906623
select unix_timestamp('2021-08-14 10:05:20');
輸出：1628935520

6. utc時間轉換:

select from_utc_timestamp(current_timestamp(),8);
輸出：2021-08-14 11:10:27.762
select to_utc_timestamp(current_timestamp(),8);
輸出：2021-08-14 11:10:56.085

7. 日期轉unix時間戳

select to_unix_timestamp('2021-08-14 11:10:27','yyyy-MM-dd HH:dd:ss');
輸出：1628593227

8.  返回日期中的年/季度/月/日

select year('2021-08-14 10:05:20');
輸出：2021
select quarter('2021-08-14 10:05:20');
輸出：3
select month('2021-08-14 10:05:20');
輸出：8
select day('2021-08-14 10:05:20');
輸出：14

9. 返回日期中的時/分/秒

select hour('2021-08-14 10:05:20');
輸出：10
select minute('2021-08-14 10:05:20');
輸出：5
select second('2021-08-14 10:05:20');
輸出：20

10. 返回日期在當年的第幾周

select weekofyear('2021-08-14 10:05:20');
輸出：32

11. 返回日期在當前周的第幾天（注：週日為第1天）

select dayofweek('2021-08-14 10:05:20');  --週六
輸出：7

12. 日期比較函式，返回開始日期減去結束日期的天數

說明：前者大於後者，返回值為正，否則，返回值為負。

select datediff('2021-08-14','2021-08-08');
輸出：6
select datediff(current_date(),date_add(current_date(),-10));
輸出：10
select datediff(current_date(),date_add(current_date(),10));
輸出：-10

13. 日期減少函式，返回日期前n天的日期

select date_sub('2021-08-14',6);
輸出：2021-08-08

14. 日期增加函式，返回日期後n天的日期

select date_add('2021-08-14',6);
輸出：2021-08-20
--取得昨天日期：
select date_add(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),-1);
select date_sub(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),1);
-- 取得明天日期：
select date_add(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),1);
select date_sub(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),-1);

15. 返回兩個日期之間包含的月數（結果為double型別）

select months_between('2021-10-14','2021-05-04');
輸出：5.32258065

16. 獲取日期月初(引數MM),年初日期(引數YY)

select trunc(current_date(),'MM');
輸出：2021-08-01
select trunc(current_date(),'YY');
輸出：2021-01-01

17. 獲取日期當月最後一天

select last_day(current_date());
輸出：2021-08-31

18. 返回當前日期之後的下個星期幾的日期

說明：引數為MO,TU,WE,TH,FR,SA,SU,也可以是兩個縮寫字母可以是三個可以是全名。

select next_day('2021-08-14', 'TU'); --得到021-08-14後的下個週二
輸出：2021-08-17
select next_date('2020-01-01','Fri');  --得到2020-01-01後的下個週五
輸出：2020-01-03

19. yyyymmdd和yyyy-mm-dd日期間切換

思路：先轉換成時間戳，再由時間戳轉換為對應格式。

select from_unixtime(unix_timestamp('20210814','yyyymmdd'),'yyyy-mm-dd');
輸出：2021-08-14
select from_unixtime(unix_timestamp('2021-08-14','yyyy-mm-dd'),'yyyymmdd') ;
輸出：20210814

20. 取最近30天資料

seelct * from table where datediff(current_timestamp(),create_time)<=30;
--要從表中執行

21. 兩個日期相差多少小時

select (unix_timestamp('2021-08-14 10:18:54')-unix_timestamp('2021-08-14 08:18:54'))/3600;
輸出：2.0

22. 兩個日期相差多少分鐘

select (unix_timestamp('2021-08-14 10:18:54')-unix_timestamp('2021-08-14 08:18:54'))/60
輸出：120.0

23. 返回上個月第一天和最後一天

--上個月第一天
select trunc(add_months(current_timestamp(),-1),'MM');
select concat(substr(add_months(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),-1),1,7),'-01');
select trunc(add_months(current_timestamp(),-1),'MM');
輸出：2021-07-01

--上個月最後一天
select last_day(add_months(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),-1)) ;
select date_sub(trunc(current_timestamp(),'MM'),1);
輸出：2021-07-31

-- 獲取當月第一天
select trunc(current_timestamp(),'MM');
select from_unixtime(unix_timestamp(),'yyyy-MM-01');
輸出：2021-08-01

-- 獲取當月最後一天
select last_day(current_timestamp());
select  last_day(current_date());
輸出：2021-08-31

Impala(時間處理，可類比到hive可用)

1. 獲取當前時間

timestamp 樣式2021-12-10 04:36:48.147046000

bigint 樣式 1639110956

2. 獲取時間指定單位函式

3. 時間比較函式

4. 時間格式轉換函式

5. 時間計算函式

Redis

啟動類

key

String

List

Set

Hash

zset(Sorted set)

Flink

啟動

./start-cluster.sh

run

./bin/flink run [OPTIONS]

./bin/flink run -m yarn-cluster -c com.wang.flink.WordCount /opt/app/WordCount.jar

info

./bin/flink info [OPTIONS]

list

./bin/flink list [OPTIONS]

stop

./bin/flink stop  [OPTIONS] <Job ID>

cancel(弱化)

./bin/flink cancel  [OPTIONS] <Job ID>

savepoint

./bin/flink savepoint  [OPTIONS] <Job ID>