Linux Shell指令碼時間排程

superjack2發表於2020-12-28

#!/bin/bash


path=`head -1 input1.txt`

dd=""

path2=""

#獲取小時

aa=`echo $path | cut -d \/ -f 6`

#獲取年月日

aa2=`echo $path | cut -d \/ -f 5`

cc=$((aa))

if [ $cc -lt 9 ]; then

    bb=$((cc+1))

    dd="0$bb"

    path2="/data/dpi/test/$aa2/$dd"

    echo $path2 > input2.txt

elif [ $cc -eq 9 ]; then

    bb=$((cc+1))

    dd="$bb"

    path2="/data/dpi/test/$aa2/$dd"

    echo $path2 > input2.txt

elif [ $cc -ge 10 ]&&[ $cc -lt 23 ]; then

    bb=$((cc+1))

    dd=$bb

    path2="/data/dpi/test/$aa2/$dd"

    echo $path2 > input2.txt

else

    aa2=`date -d "$aa2 1 days" +"%Y%m%d"`    

    path2="/data/dpi/test/$aa2/00"

    echo $path2 > input2.txt


fi


a=$(hadoop fs -count $path2  | awk '{print $2}')


if [ $a -gt 0 ]; then 

   spark-submit --class com.spark.DataClear --master yarn-client  --executor-memory 8g --num-executors 8 --executor-cores 2 /home/haduser/study05-1.0-SNAPSHOT.jar $path /dataclear/$aa2/$aa

   hadoop fs -mkdir -p /complete/$aa2/$aa

   echo "/dataclear/$aa2/$aa" > "/home/haduser/timetest/$aa2.$aa.ok"

   path3=`head -1 input2.txt`

   echo $path3 > input1.txt

fi


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31537832/viewspace-2745915/,如需轉載,請註明出處,否則將追究法律責任。

相關文章