解決Oracle中Exp/Imp大量資料處理問題
對於一般中小型資料庫來說, 全資料庫的exp所產生的dmp檔案可能小於2GB, 但對稍大型的資料庫, exp產生的資料動輒數十至上百個GB. 而現時多數作業系統為32位, 其檔案系統允許的最大檔案為2GB. 這樣顯然不能由檔案系統存放exp產生的資料. 這是問題之一. 另一個問題是隨著資料庫的不斷增大, exp所需時間越來越長以致實際上很難實施. 本文針對以上兩個問題討論相應對策.
我們以UNIX為例首先看看如何超越2GB限制. 這需利用UNIX的通用技術, 如管道(named pipe), 資料複製工具dd以及資料壓縮(compress). 下面分別討論這幾種技術.
·管道 是一種偽檔案. 它存在於記憶體中, 用於快速I/O操作. 管道的緩衝區採用先進先出機制, 即寫管道程式寫到緩衝區頭部而讀管道程式讀取管道尾部. 建立管道的命令為”mknod filename p".
·dd 允許我們從一個裝置複製資料到另一個裝置.
·compress 為UNIX資料壓縮工具.
實施exp之前, 我們可先檢查所產生dmp檔案的大小. 以下步驟既可實現,
1. 生成管道::
$ mknod /tmp/mypipe p
2. exp結果輸出到該管道
$ exp file=/tmp/mypipe <...> &
3. 讀取管道並把結果輸出到管道, 只為檢視資料量: $ dd if=/tmp/mypipe of=/dev/null
結果返回exp (.dmp)檔案大小, 單位為塊(512 bytes).
現在我們可以著手討論具體方法,
1. 檔案壓縮
2. 直接exp到磁帶
3. 綜合方法
首先看檔案壓縮方法. 利用檔案壓縮我們可儘量避免dmp檔案大小超過2GB限制. 我們利用UNIX的管道技術, 具體步驟如下,
1. 啟動compress程式, 使之從管道讀取資料並輸出到磁碟檔案.
$ mknod /tmp/exp_pipe p
$ compress < /tmp/exp_pipe > export.dmp.Z &
2. exp到管道.
$ exp file=/tmp/exp_pipe ... &
imp時情況類似.
再看看直接exp到磁帶上的方法.
$ exp file=/dev/rmt/0m volsize=4G
$ imp file=/dev/rmt/0m volsize=4G
最後看看exp到裸裝置上的方法,
$ exp file=/dev/rdsk/c0t3d0s0 volsize=4G
imp類似.以上方法都可使我們避免2GB限制.
下面討論如何縮短exp索需時間的問題. 目前多數使用者會採用exp到磁帶的方法只因沒有足夠的剩餘硬碟空間. 而整個exp過程所花時間的大部分都在寫磁帶上. 透過我們上面對UNIX工具的討論, 我們可以做到先exp到管道, 再將管道資料壓縮後輸出到磁帶上. 這樣寫磁帶的資料量可大大減少, 從而在相當程度上縮短寫磁帶時間. 另外從Oracle內部角度講, 從7.3版開始, Oracle允許使用者做direct path export, 即跳過Oracle
$ make -f $ORACLE_HOME/rdbms/lib/oracle.mk expst
$ make -f $ORACLE_HOME/rdbms/lib/oracle.mk impst
以上步驟產生的可執行檔案expst (exp single task)和impst與exp/imp用法完全相同. 使用它們比使用exp/imp可節省多至30%的時間. 但在使用它們時千萬要注意一點, 即一定要保證在使用expst/impst時不能有任何其他使用者在使用Oracle資料庫, 否則資料庫會產生不可預知的後果甚至毀壞.
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/35489/viewspace-84678/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 在PHP中怎麼解決大量資料處理的問題PHP
- Oracle Exp/Imp常見問題Oracle
- oracle資料庫 exp/imp命令詳解(轉)Oracle資料庫
- oracle 816 imp恢復資料遇到問題及解決Oracle
- exp imp資料
- Oracle exp/imp字符集相關問題Oracle
- Oracle的exp/imp詳解Oracle
- 探索Oracle之 EXP/IMP過程中的字符集問題Oracle
- Oracle imp/expOracle
- oracle資料匯出匯入(exp/imp)Oracle
- Oracle資料庫中的逐行處理問題NEOracle資料庫
- oracle imp字符集問題的解決Oracle
- Oracle資料匯入匯出imp/exp命令Oracle
- oracle資料的匯入匯出imp/expOracle
- Oracle的exp、imp的資料遷移步驟Oracle
- Oracle資料庫 Exp/Imp工具效能調優Oracle資料庫
- exp,imp 遷移資料
- imp/exp資料遷移
- oracle exp和impOracle
- oracle imp和expOracle
- oracle exp imp 用法Oracle
- 轉:oracle EXP /IMP引數詳解Oracle
- exp/imp備份與還原oracle資料庫Oracle資料庫
- Oracle資料匯入匯出imp/exp命令(轉)Oracle
- imp中的indexfile引數解決imp指定表空間問題Index
- 如何處理Oracle資料庫中的壞塊問題(轉)Oracle資料庫
- Oracle中exp,imp(匯入匯出)資料遷移注意事項Oracle
- 如何利用errorstack分析exp或imp問題Error
- imp/EXP 表空間轉換問題
- Oracle資料庫無效物件問題處理Oracle資料庫物件
- exp和imp詳解
- exp/imp命令詳解
- exp,imp 不同表空間大欄位處理方法
- 資料處理--pandas問題
- 資料匯入匯出EXP/IMP
- exp/imp匯出匯入資料
- oracle exp_imp小記Oracle
- Oracle discoverer中exp/imp Business Areas (BAs) 和foldersOracle