從文字匯入海量資料(informix-dbload)

informix 從文字匯入海量資料(informix load)

從文字匯入資料到informix資料一般使用SQL語句：
load from file.dat insert into tablename;
但當匯入的資料有好幾百萬甚至上千萬條時用上面的方法產生大鎖表，及至資料庫鎖不夠，導致長事務無法匯入。
一個解決的辦法是使用dbload命令，以下為dbload的引數說明：
---------------------------------------------------------------------
dbload --help


DBLOAD Load Utility           INFORMIX-SQL Version 11.50.FC5    


Usage: 


dbload [-d dbname] [-c cfilname] [-l logfile] [-e errnum] [-n nnum]
        [-i inum] [-s] [-p] [-r | -k] [-X]


        -d      database name
        -c      command file name
        -l      bad row(s) log file
        -e      bad row(s) # before abort
        -s      syntax error check only
        -n      # of row(s) before commit
        -p      prompt to commit or not on abort
        -i      # or row(s) to ignore before starting
        -r      loading without locking table
        -X      recognize HEX escapes in character fields
        -k      loading with exclusive lock on table(s)


---------------------------------------------------------------------


下面舉一簡單例子：
資料庫名：dbsname
load命令檔名：load.sh
錯誤日誌檔名：error.log
每次提交的資料條數：100000


資料檔名：loadfile.txt
資料欄位分隔符： "｜"
每行資料的欄位資料: 14
要插入的資料表名：prepay


應用命令如下：
dbload -d DBNAME -c load.sh -l error.log -n 100000;


load.sh 檔案內容：load.sh可以建立多條資料檔案匯入
－－－－－－－－－－－－－－－－－
file "loadfile.txt" delimiter "|" 14 ;
insert into tablename;
file "loadfile1.txt" delimiter "|" 16 ;
insert into tablename1;
－－－－－－－－－－－－－－－－－






附shell指令碼:
---------------------------------------------------------------------------------
#!/bin/ksh
#===========================================================================
#filename:dbload.sh
#功能:
#從檔案匯入海量資料到informix資料庫中
#主要是解決海量資料匯入問題，當直接使用形如：
#load from loadfile.txt insert into tablename;
#匯入資料時，如果資料超過幾百萬條則會使快取被充滿而無法匯入
#input: nameDB nameTable dataFile
#注意:
#1.程式需要informix load 支援
#2.資料檔案第行應以"|"結尾
#===========================================================================


#引數輸入
if [ $# -ne 3 ];then
cat << EOF
Usage: $0 nameDB nameTable dataFile


   nameDB       資料庫名
   nameTable    資料庫表名
   dataFile     即將匯入資料庫的資料檔案
EOF
exit 1
fi


nameDB="$1"       #資料庫名
nameTable="$2"    #資料庫表名
dataFile="$3"     #即將匯入資料庫的資料檔案


if [ ! -f "$dataFile" ];then
echo "<ERROR>資料檔案[$dataFile]不存在!" | tee -a $errLog
exit 1
fi


tmpStr0=`echo $dataFile | sed "s/\//_/g"`
errLog="${tmpStr0}_E.log"                  #日誌
:>$errLog


delimStr="|"                              #資料檔案中資料分隔符
commitNum=100000                          #一次提交的資料條數


loadCMDFile="load$$.cmd"                  #load命令檔案


tmpFile="`basename $dataFile`.tmp"        #臨時檔案




trap "myExit" 0 1 2 3 9 11 15


myExit()
{


#程式退出前刪除臨時檔案
#刪除load命令檔案
rm -f $loadCMDFile
rm -f $tmpFile


#如果日誌檔案是空的刪除
if [ ! -f "$errLog" ];then
  return
fi
_tmpNum="`cat $errLog | wc -c`"
_tmpNum="`expr $_tmpNum`"
if [ $_tmpNum -eq 0 ];then
   rm -f $errLog
fi
}


lineNum="`cat $dataFile | wc -l`" #資料行數
lineNum="`expr $lineNum`"
if [ $lineNum -eq 0 ];then
echo "<ERROR>資料檔案[$dataFile]是空的!" | tee -a $errLog
exit 1
fi


#資料檔案資料列數
colNum=`head -n1 $dataFile | awk -F"|" '{print NF}'`
#資料檔案中的資料行最後有一個"|"
colNum=`expr $colNum - 1`




cat << EOF > $loadCMDFile
file "$dataFile" delimiter "$delimStr" $colNum;
insert into $nameTable;
EOF


if [ ! -f "$loadCMDFile" ];then
echo "<ERROR>load命令檔案[$loadCMDFile]不存在!" | tee -a $errLog
exit 1
fi
:> $tmpFile


dbload -d $nameDB -c $loadCMDFile -l $errLog -n $commitNum >> $tmpFile 2>&1
#| tee -a $tmpFile 2>&1
#cat $tmpFile


echo "[提示]資料檔案行數: $lineNum"


#獲取匯入的資料條數
grepStr="Table $nameTable had "
tmpStr=`grep "$grepStr" $tmpFile`
insertNum=0
if [ "$tmpStr" != "" ];then
for str in $tmpStr
do
  tmpStr2=`echo $str | grep "^[0-9]*$"` 
  if [ "$tmpStr2" = "" ];then
   continue
  else
   insertNum=`expr $str` 
   echo "[提示]總計匯入條數: $insertNum"
   errNum=` expr $lineNum - $insertNum `
   if [ $errNum -gt 0 ];then
    echo "[ERROR]匯入失敗條數: $errNum"
    exit 1
   else
    echo "[OK]匯入成功!"
   fi
   break
  fi
done
else
echo "[ERROR]匯入失敗條數: $lineNum"
exit 1
fi