用SQL*Loader載入外部資料
SQL*Loader可用於批次上載某些第三方系統生成的資料集。DBA配置一個能夠解釋輸入資料檔案內容的SQL*Loader控制檔案,SQL*Loader就可以讀取輸入檔案,將資料插入到Oracle資料庫表中。
SQL*Loader是一個客戶端-伺服器程式,可採用兩種技術匯入資料:常規方式或直接路徑。
常規方式使用普通的INSERT語句。SQL*Loader使用者程式構造VALUES子句中包含繫結變數的INSERT語句,然後讀取源資料檔案,為每個要插入的行執行一次INSERT。此方法使用資料庫緩衝區快取,並生成撤銷和重做資料。
直接路徑避開了資料庫緩衝區快取。SQL*Loader讀取源資料檔案,並將其內容傳送到伺服器程式。此後,伺服器程式在其PGA中組裝表資料的塊,並將它們直接寫入資料檔案。寫操作在表的高水位線上完成,稱為資料儲存。載入完成後,SQL*Loader移動高水位線,從而包含最新寫入的資料塊。此時不會生成撤銷,因此直接路徑載入極為快捷。
直接路徑載入速度快,但存在以下問題:
- 操作期間必須刪除或禁用引用完整性約束和check約束,只能實施unique、primary key和not null約束
- 不會啟用INSERT觸發器
- 針對其它會話的DML鎖定表
- 無法為群集表使用直接路徑
之所以存在以上限制,是因為載入期間缺少與SGA的互動。
SQL*Loader使用多種檔案:
輸入資料檔案(input datafile):將要上載到資料庫的源資料。
控制檔案(control file):指示SQL*Loader如何解釋輸入檔案的內容如何提取記錄。
日誌檔案(log file):概述了作業的成功與失敗及相關錯誤細節。
錯誤檔案(bad file):違反規則而未能成功插入資料庫的記錄被寫入該檔案。
廢棄檔案(discard file):提取記錄成功但不匹配選擇標準而被丟棄的記錄寫入該檔案。
考慮下面的表:
SQL> desc dept
Name Type Nullable Default Comments
------ ------------ -------- ------- --------
DEPTNO NUMBER(2)
DNAME VARCHAR2(14) Y
LOC VARCHAR2(13) Y
此源資料檔案為e:\dept.txt:
60,liuln,nanjing
70,shenzj,jiaxing
80,chenyz,shanghai
用於載入此資料的SQL*Loader控制檔案是e:\dept.ctl:
load data
infile 'e:\dept.txt'
badfile 'e:\dept.bad'
discardfile 'e:\dept.dsc'
append
into table scott.dept
fields terminated by ','
trailing nullcols
(deptno integer external(2),
dname,
loc)
控制檔案中指定了輸入檔案、錯誤檔案、廢棄檔案,指定為表新增行而不是截斷它,指定了插入的表、欄位分割符,trailing nullcols表示如果缺少欄位,就插入NULL值,最後指明瞭插入資料對應的列。
要執行載入,在作業系統提示符下執行以下命令
sqlldr scott/tiger control=e:\dept.ctl log=e:\dept.log direct=true
direct=true引數指示SQL*Loader使用直接路徑,而不是預設的常規插入操作。操作結束後可以檢視一下生成的日誌檔案資訊,同時查詢表dept確認資料被新增進來。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/28974745/viewspace-2145360/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 外部表載入資料(ExternalTables)
- 【實驗】【SQL*Loader】使用SQLLDR將資料載入到CLOB欄位SQL
- 使用SQL*Loader建立外部表之二SQL
- 使用SQL*Loader建立外部表之一SQL
- 用SQL Loader將Excel資料匯出到OracleSQLExcelOracle
- 海量資料遷移之外部表載入
- 【移動資料】SQL*LoaderSQL
- 使用sql loader導資料SQL
- 轉載:利用SQL*Loader將 Excel 資料匯出到資料庫中SQLExcel資料庫
- 使用SQL*Loader匯入CLOB和BLOB資料使用案例SQL
- 【scikit-learn基礎】--『資料載入』之外部資料集
- 【SQL*Loader】sqlldr匯入SQL
- Oracle Sql loader 匯入資料指令碼的編寫過程OracleSQL指令碼
- Oracle 的資料匯入匯出及 Sql Loader (sqlldr) 的用法OracleSQL
- 【SQLLDR】使用SQL*Loader輔助生成外部表建立語句SQL
- 如何將外部資料庫 匯入到系統的SQL中資料庫SQL
- OCA題目深入瞭解繼續,SQL*Loader和外部表SQL
- Android Loader 機制,讓你的資料載入更加輕鬆Android
- 外部表筆記一loader筆記
- 關於 Oracle 的資料匯入匯出及 Sql Loader (sqlldr) 的用法OracleSQL
- 使用sqlload匯入外部資料SQL
- sql server 2005資料庫載入SQLServer資料庫
- k8s env、configmap、secret外部資料載入配置K8S
- webpack配置常用loader載入器Web
- Android中-Loader載入器Android
- 用SQL語句匯入excel資料SQLExcel
- 外部資料在資料分析中的應用
- 用 Oracle sql*loader 把公司的資料庫從 sql server 遷移到 Oracle 9i 中OracleSQL資料庫Server
- SQL LOADERSQL
- 採用importtsv匯入外部資料到hbase中ImportTTS
- 【原創】比較使用sql*loader的直接載入方式和傳統載入方式的效能差異SQL
- oracle sql*loader批量匯入多個CSVOracleSQL
- ORACLE_LOADER外部表簡單案例Oracle
- pandas的外部資料匯入與常用方法
- 資料載入
- spark sql與mysql 資料載入與匯出資料到mysqlSparkMySql
- Oracle 巧用外部表將大量excel資料匯入資料庫OracleExcel資料庫
- Linux:掛載外部U盤,移動資料Linux