SQLITE 遷移到 MYSQL

接同事需求，要求從SQLITE的資料轉到MYSQL，這東西以前也沒接觸過。這裡搜搜，那裡試試，下面把過程列一下。
主要過程分三步：
1，把SQLITE表結構匯出來，作一定的格式調整
2，把SQLITE資料匯出來，作特殊字元的處理
3，匯出MYSQL（注意字符集）[@more@]

下面是我操作的過程， 有兩個部分：單表操作和批次處理（含指令碼）

########### 單表操作 ####################
# 開啟SQLITE DB
root> sqlite3 mig.db

# 檢視錶,可用用".help"獲得幫助
sqlite>.tables

# 匯出資料表結構
sqlite>.output /tmp/heyf/createtable.sql
sqlite>.schema accounts_profile

# 調整建表語句格式, 把雙引號去掉，並加上MYSQL的建表約束。
root>sed 's/"/`/g' createtable.sql > create_onmysql.sql
root>sed -i -e 's/^);$/) engine=innodb default charset=utf8 collate=utf8_bin ;/g' create_onmysql.sql
root>sed -i 's/integer.*PRIMARY KEY/int NOT NULL auto_increment PRIMARY KEY/g' create_onmysql.sql
# sqlite中，為 INTEGER PRIMARY KEY 的欄位將自動增加
root>sed -i 's/ text/ longtext/g' create_onmysql.sql
# sqlite中，text 最大長度為2G, 在MYSQL中需要改成longtext;

# 在MYSQL把表建上：
mysql -uroot -h127.0.0.1 --default-character-set=utf8 test < create_onmysql.sql

# 匯出資料
sqlite>.mode insert accounts_profile_starred_review_requests
sqlite>.output /tmp/heyf/accounts_profile_starred_review_requests.sql
sqlite>select * from accounts_profile_starred_review_requests;
sqlite>.output stdout

# 處理特殊字元
DOTABLE=accounts_profile_starred_review_requests
cd /tmp/heyf
DOFILE=${DOTABLE}.sql
sed -e "s///g" $DOFILE > ${DOFILE}.new

# 將資料匯入MYSQL
mysql -uroot -h127.0.0.1 --default-character-set=utf8 test -e "truncate table ${DOTABLE};"
mysql -uroot -h127.0.0.1 --default-character-set=utf8 test < ${DOFILE}.new





如果表很多：那我們就需要批次處理一下啦，下面是一些批次指令碼 ：
########### 批次處理 ####################

# 開啟SQLITE DB
root> sqlite3 mig.db

# 檢視錶
sqlite>.tables
# 把所有表名都放入TABLE.LIST檔案

# 匯出資料表結構
sqlite>.output /tmp/heyf/createtable.sql
sqlite>.schema accounts_profile
sqlite>.schema ... ....

#在MYSQL 建立表結構
root>sed 's/"/`/g' createtable.sql > create_onmysql.sql
root>sed -i -e 's/^);$/) engine=innodb default charset=utf8 collate=utf8_bin ;/g' create_onmysql.sql
root>sed -i 's/integer.*PRIMARY KEY/int NOT NULL auto_increment PRIMARY KEY/g' create_onmysql.sql
# sqlite中，為 INTEGER PRIMARY KEY 的欄位將自動增加
root>sed -i 's/ text/ longtext/g' create_onmysql.sql
# sqlite中，text 最大長度為2G, 在MYSQL中需要改成longtext;

root>mysql -uroot -h127.0.0.1 --default-character-set=utf8 test < /tmp/heyf/create_onmysql.sql

# SQLITE 中匯出資料

## 將所有的表生成匯出語句（SQLITE)
## cat create_exp.sh
-------------------------
#!/bin/bash
[ $# -ne 1 ] && exit 1
TABFILE=$1
WORKDIR=/tmp/heyf/dmpfile/
OUTFILE=exp.sql
while read LINE
do
echo $LINE
echo ".mode insert $LINE" >> $OUTFILE
echo ".output $WORKDIR/${LINE}.sql ">> $OUTFILE
echo "select * from $LINE ;" >> $OUTFILE
echo ".output stdout " >> $OUTFILE
done < $TABFILE
-------------------------

## 執行後將產生 sqlite 所有表的匯出語句
sh create_exp.sh table.list

## 現在進行SQLITE可以將所有表的資料匯出來。
sqlite3 /home/admin/foryunfei/heyf.db
.read /tmp/heyf/exp.sql

# 處理特殊字元
## 現在需要將所有的SQL檔案中的""替換成”“,以使SQL能正確執行
## cat replace.sh
-------------------------
#!/bin/bash
[ $# -ne 1 ] && exit 1
TABFILE=$1
WORKDIR=/tmp/heyf/dmpfile/
while read DOTABLE
do
cd $WORKDIR
DOFILE=${DOTABLE}.sql
sed -e "s///g" $DOFILE > ${DOFILE}.new
done < $TABFILE
-------------------------

## sh replace.sh table.list

## 將資料匯入MYSQL
## cat imp.sh
-------------------------
#!/bin/bash
[ $# -ne 1 ] && exit 1
TABFILE=$1
WORKDIR=/tmp/heyf/dmpfile/
while read DOTABLE
do
cd $WORKDIR
mysql -uroot -h127.0.0.1 --default-character-set=utf8 test -e "truncate table ${DOTABLE};"
mysql -uroot -h127.0.0.1 --default-character-set=utf8 test < ${DOTABLE}.sql.new
done < $TABFILE
-------------------------

## sh imp.sh table.list