Data pump學習筆記

學習筆記

綜述

n 是一個基於伺服器的工具，用於高速的資料地移動

n 底層結構是基於dbms_datapump

n 提供了新一代的匯入和到處工具：expdp，impdp,基於網路的介面

n 是傳統匯入匯出工具的超集

體系結構

n 直接路徑API（DPAPI）

n 外部表服務

n 包dbms_metadata

n 包dbms_datapump

n Expdp和impdp

Data dump的匯入匯出綜述

資料泵的匯入匯出是Oracle10的一個新的工具，雖然和傳統的匯入匯出命令相似，但是兩個是獨立的產品。

資料泵的匯出是一個工具，是將資料匯出到一個作業系統檔案中，這個作業系統檔案被成為匯出檔案集。匯入則是相反的過程

這些工具能夠被用於從遠端資料庫直接匯出到一個匯出檔案集中，或者直接從一個源資料庫匯入到目標資料庫，而不需要任何的其他檔案的輔助。這就是所說的網路模式，這個模式在從一個只讀源資料庫中匯出資料非常有用。

在每一個資料泵操作的核心是一個主表（MT），這個表示在使用者允許資料泵job的時候在使用者的模式下新增的，MT用來維護這個job的所有方面。這個MT在一個基於檔案的匯出job中被建立，被作為最後一步寫入到匯出檔案集中。可逆而言，在基於檔案的匯入操作中的第一步就是匯入這個MT到當前的使用者模式中，然後用於匯入時，新增所有物件的順序。

當資料泵正常結束的時候，這個MT被刪除。

資料泵匯入匯出的好處

資料訪問模式

直接路徑

外部表

Detachment from and reattachment to long-running jobs

資料泵job的重啟

Fine-grained物件和資料的選擇

外在資料庫版本的規範

並行執行（只能用於企業版）

匯出job空間消耗估計

分散式環境的網路模式

在匯入時重新定位能力

資料舉例和資料壓縮

資料泵能夠自動決定所使用的資料訪問模式：直接路徑或者外部表模式

資料泵能夠detach或者reattach一個長時間執行的job，而不影響job自身，允許在執行的時候從不同的位置監視job。所有被停止的資料泵job能夠不丟失資料的情況下重新啟動，

引數exclude,include,connect是被用於精細物件或者資料的選擇。

能夠透過引數version為所移動的物件指定資料庫版本。新增一個匯出檔案集，這個檔案集支援資料泵的前一版本的oracle資料庫。這個版本僅被未來的版本保留。

使用引數parallel指定在匯出job上操作的活動的執行伺服器上的最大執行緒數目

使用estimate_only引數指定估計匯出job消耗的空間

網路模式能夠將遠端資料庫直接匯出到一個匯出檔案集中，這種需要使用資料庫鏈連線到源系統上

在匯入中，能夠改變目標資料檔案的名，schema和表空間

使用引數sample值得在用於Oracle 10g中，從源資料庫中匯出資料能夠指定一定比例的資料作為取樣

使用引數compression描述是否在匯出檔案中資料是否被壓縮，這樣會佔有更少的磁碟，如果壓縮了。在匯入的時候會自動解壓。

一般的用處

客戶端程式是呼叫資料泵API，一個客戶端不需要在job執行之後，多客戶端可以從一個job上attach，detach，來實現監控的目的

當一個客戶端登陸到oracle資料庫上的時候，一個影子程式將被新增，這個程式服務需要資料泵的API。在收到dbms_datapump.open的請求的時候，影子程式新增job，主要是新增主表，新增AQ佇列用和其他不同的程式於通訊，新增主控制程式。等job執行時候，影子程式的主要任務服務於從客戶端的get_status請求。如果客戶端detach，影子程式也會dies

主控程式MCP，控制資料泵job的執行和順序。維護job的狀態，job的描述，在主表中重啟和匯出檔案資訊。一個MCP被命名為DMnn

在受到start_job請求的時候，MCP根據引數parallel新增幾個工作程式。這幾個工作程式執行的是主MCP請求的任務，被命名為DWnn

如果外部表路徑被選擇作為匯入匯出訪問的模式，工作程式和一定數目的並行執行服務來配合。

直接路徑資料泵：需要考慮的問題

有精細訪問控制的表能夠在插入和選擇模式

Domain index exists for a LOB column

簇表引進

友活動觸發器的表被定義

Global index on partitioned tables

with a single-partition load

• BFILE or opaque type columns

• Referential integrity constraint

• VARRAY columns with an embedded opaque type

資料泵檔案位置

資料泵檔案的三種型別：

匯出檔案，日誌檔案，sql檔案

絕對路徑不被支援

Oracle目錄物件必須被用

檔案位置的優先順序

n Per-file目錄

n Directory引數

n Data_pump_dir環境變數

n Data_pump_dir預設目錄物件

資料泵檔案命名和大小

一個匯出檔案集可以包含多個檔案

Dumpfile定義dump檔案的列表

檔案被逗號分開列表

％U模板

Dump檔案的初始數目依賴於：

Parallel引數

Dumpfile引數

Filesize引數決定每一個dump檔案的大小

先前存在地同樣名字的檔案不會被覆蓋

Dumpfile引數指定名字和基於磁碟地dump檔案的目錄。如果是多檔案要是被指定的話，使用逗號隔開，或者使用分開的引數dumpfile指定。如果沒有指定則是使用預設的檔名expdat.dmp。預設，新增的檔案事自動擴充套件的。

Filesize指定的話，每一個檔案是有這個引數來限制，不能擴充套件。

資料泵工具：介面和模式

資料泵匯出匯入介面

命令列

引數檔案

互動命令列

資料庫控制

資料泵匯入匯出模式

n 全

n 模式

n 表

n 表空間

n 可轉移表空間

資料泵和過濾

精細物件選擇

-include = object_type[:”name_expr”]

-exclude = object_type[:”name_expr”]

資料選擇

-CONTENT = ALL|METADATA_ONLY|DATA_ONLY

-QUERY =[schema.][table_name:]”query_clause”

資料泵匯入的轉換

Remap：

使用REMAP_DATAFILE資料檔案

使用REMAP_DATAFILE的表空間

使用REMAP_SCHEMA的模式

資料泵匯入傳送

使用transform，能夠不包含下面的表和索引

Storage 和 tablespace子句

Storage子句

重新新增抽象資料型別的物件標識

改變擴充套件分配和檔案大小

TRANSFORM =

SEGMENT_ATTRIBUTES|STORAGE|OID|PCTSPACE:{y|n|v}[:object type

資料泵job監視檢視

V$session_longops

Dba_datapump_jobs

Dba_datapump_sessions