# 傳輸表空間
異構跨平臺傳輸表空間分為兩種
1. 使用MOS提供rman_xttconvert工具包進行線上遷移，即通常所說xtts。
2. 表空間置為Read only離線，透過RMAN進行convert結合exp/imp expdp/impdp匯出匯入後設資料進行遷移。
3. 12c 引入了使用備份進行跨平臺傳輸表空間，與上述第二種方法大部分步驟相同，RMAN備份方式可以充分利用RMAN壓縮等降低檔案大小，減少read only時間。
- 可以參考文章：https://www.cndba.cn/dave/article/4404
> 由於一般資料庫都需要在遷移過程中對外提供服務，所以表空間置為只讀在大部分情況下不可接受，所以一般使用第一種xtts工具包進行線上遷移，本文則使用第二種方式遷移。

# 1. 環境介紹
## 1.1 版本介紹
- 源  端：HP-UX    Oracle 11.2.0.3 ASM儲存 資料量30TB
- 目標端：RHEL 7.7 Oracle 11.2.0.3 NAS儲存
## 1.2 遷移方式
由於本次遷移為歷史庫遷移，且資料庫未開啟歸檔模式，所以選擇較為便捷第二種方式進行遷移。

# 2. 環境準備
## 2.1 掛載NFS
> 源庫30TB，HP-UX與Linux透過NFS掛載目標庫NAS儲存磁碟，直接convert轉換資料檔案至最終NAS儲存，省去複製時間。

HP-UX
```
mount -F nfs hard,bg,proto=tcp,rsize=32768,wsize=32768,nointr,noac,forcedirectio,llock xx.xx.xx.xx:/data/nfs /tts
```
Linux:

```
mount -t nfs -o hard,bg,nolock xx.xx.xx.xx:/data/nfs /data
```
## 2.2 查詢源端平臺與目標平臺是否可轉換

```
select * from v$transportable_platform;
 PLATFORM_ID PLATFORM_NAME                        ENDIAN_FORMAT
------------ ------------------------------------ --------------
...
           4 HP-UX IA (64-bit)                    Big
...
          13 Linux x86 64-bit                     Little
...

--可以看到可以轉換，但是由於位元組序不同，所以需要轉換。

select platform_id,platform_name from v$database;
 PLATFORM_ID PLATFORM_NAME       
------------ --------------------
           4 HP-UX IA (64-bit)   
```
# 3.遷移準備
## 3.1 提取需要轉換的表空間
> 由於本次為整庫遷移，所以除一些系統表空間外，其他均需要轉換

1. 檢視system users sysaux是否有非sys以及一些元件物件

```
select owner
       ,table_name
       ,tablespace_name
 from dba_tables
 where owner not in ('SYS','SYSTEM','OUTLN','SCOTT')
        and tablespace_name in ('SYSTEM','SYSAUX','USERS');
```

>  根據查詢出來物件，決定是否需要額外處理這幾個表空間，users表空間如果包含非sys物件，則需要在目標端刪除users表空間，將源庫users一起轉換，本次查詢users表空間也需要一同轉換

2. 獲取需要遷移表空間列表

```
select distinct tablespace_name from dba_tablespaces where tablespace_name not in ('SYSTEM','SYSAUX','UNDOTBS1','UNDOTBS2')
minus
select distinct tablespace_name from dba_temp_files;

```
## 3.2 驗證要傳輸表空間是否自包含
```
SYS > EXEC SYS.DBMS_TTS.TRANSPORT_SET_CHECK(ts_list => '<tablespace_name>', incl_constraints => TRUE); 
SYS > SELECT * FROM TRANSPORT_SET_VIOLATIONS;
VIOLATIONS
--------------------------------------------------------------------
ORA-39921: Default Partition (Table) Tablespace xxx(表空間名) for xxx(表名) not contained in transportable set.
# 可以根據下滿Mos文件進行相應處理
# 我的環境中，違反表空間不存在，也無相應segment在該表空間，根據表空間名稱，建立之後，一起轉換解決報錯問題。
```
> Using Dbms_tts.transport_set_check Results in Entry in Transport_set_violations (Doc ID 114915.1)

## 3.3 表空間置為read only
```
select 'ALTER TABLESPACE '||TABLESPACE_NAME||' READ ONLY;'
FROM (
    SELECT DISTINCT TABLESPACE_NAME FROM DBA_TABLESPACES WHERE TABLESPACE_NAME NOT IN ('SYSTEM','SYSAUX','UNDOTBS1','UNDOTBS2')
    MINUS
    SELECT DISTINCT TABLESPACE_NAME FROM DBA_TEMP_FILES
);

'ALTERTABLESPACE'||TABLESPACE_NAME||'READONLY;'
----------------------------------------------------------
ALTER TABLESPACE XXX READ ONLY;
...

```
> 置為read only過程中，遇到部分表空間無法read only，kill掉所有會話，但是依然無法read only，查詢等待事件為wait for another txn - txn abort，該等待一般為有狀態處於dead狀態事務，需要等待smon回滾結束，透過下面語句可以查詢進度。  
```
SELECT count(*) FROM x$ktuxe WHERE ktuxesta != 'INACTIVE' AND  ktuxecfl LIKE '%DEAD%';   
SELECT ktuxesiz FROM x$ktuxe WHERE ktuxesta != 'INACTIVE' AND  ktuxecfl LIKE '%DEAD%';
```
- 確認表空間是否置為只讀

```
select distinct tablespace_name,status from dba_tablespaces where tablespace_name not in ('SYSTEM','SYSAUX','UNDOTBS1','UNDOTBS2')
minus
select distinct tablespace_name,status from dba_temp_files;
```
# 4. 源庫轉換與後設資料匯出
## 4.1 rman convert轉換
> 可以在遠端convert tablespace，也可以在目標端convert datafile

```
#!/bin/sh
# rman convert script
export ORACLE_SID=
v_date=$(date +%Y%m%d%H%M%S)

echo "Job Start time ${v_date}\n" >> rman_xtts_${v_date}.log
rman target / >> rman_xtts_${v_date}.log <<eof run="" allocate="" channel="" c1="" type="" disk="" ...="" convert="" tablespace="" tbs1="" to="" platform="" x86="" format="" release="" eof="" v_end_date="$(date" echo="" end="" time="">> rman_xtts_${v_date}.log
```
## 4.2 expdp匯出後設資料

```
$ nohup expdp system/111111 directory=xtts dumpfile=xtts.dmp parfile=expdp.par logfile=xtts_expdp.log &
$ vi expdp.par
TRANSPORT_TABLESPACES=tbs1
,tbs2
...
,tbsn
```
---
> 匯出後設資料時，expdp匯出非常慢，查詢相關文件，進行如下嘗試：
1. 嘗試收集dictionary統計資訊，並未提高效率。
2. 根據下面文件，嘗試使用非sysdba使用者匯出，效率有所提升。
```
Slow DataPump Import (IMPDP) For A Partitioned Table (Doc ID 2014960.1)
```
3. 11.2.0.3版本有如下bug，需要打patch 13717234。
```
Bug 13717234 - Datapump export for transport is slow handling a large number of objects (Doc ID 13717234.8)
Transport Tablespace Expdp is Slow when Handling Large Number of Objects in the Database (Doc ID 1554570.1)
```

# 5. 目標端準備

> 由於NAS儲存可以直接掛載到目標端，所以省去了scp或ftp傳輸到目標端轉換好的資料檔案步驟。

## 5.1 目標端安裝oracle軟體dbca建庫
根據安裝文件安裝oracle軟體，dbca建立空庫。
## 5.2 處理users表空間
> 由於要傳輸源端users表空間，所以目標端需要更改預設表空間，刪除users表空間

```
create tablespace users_xtts datafile 'path' size 1g autoextend on;
alter database default tablespace users_xtts;
drop tablespace users including contents and datafiles;
```
## 5.3 目標端建立使用者
> 由於需要匯入後設資料以及表空間，但是目標庫並沒有源端使用者，所以需要提前建立。

```
# 源端庫生成建使用者語句，在目標庫執行建立使用者
select 'create user '||username||' identified by oracle default tablespace users_xtts temporary tablespace temp;'
from dba_users
where username not in ('SYS','SYSTEM','DBSNMP','OUTLN','ORACLE_OCM','XS$NULL','MDDATA','SPATIAL_UFS_ADMIN_USR','SPATIAL_CSW_ADMIN_USR','MGMT_VIEW','APEX_PUBLIC_USER') AND DEFAULT_TABLESPACE NOT IN ('SYSAUX')
ORDER BY TEMPORARY_TABLESPACE;

# 先賦予DBA許可權，防止匯入時由於缺乏許可權失敗，待匯入資料完成，最後再根據源庫許可權賦予目標庫使用者相應許可權
select 'grant dba to '||username||';'
from dba_users
where username not in ('SYS','SYSTEM','DBSNMP','OUTLN','ORACLE_OCM','XS$NULL','MDDATA','SPATIAL_UFS_ADMIN_USR','SPATIAL_CSW_ADMIN_USR','MGMT_VIEW','APEX_PUBLIC_USER') AND DEFAULT_TABLESPACE NOT IN ('SYSAUX')
ORDER BY TEMPORARY_TABLESPACE;
```
# 6. 目標庫匯入

## 6.1 impdp匯入後設資料與datafile
```
# 下面為測試環境示例，並非真實環境，真實環境只是使用路徑與名稱不同
$ impdp \'\/ as sysdba\' directory=xtts dumpfile=xtts.dmp parfile=xtts.par logfile=impdp_xtts.log

$ vi xtts.par
TRANSPORT_DATAFILES=
(
'/rman/xtts/xtts_data_D-MESSAY_I-2399541070_TS-XTTS1_FNO-15_04vhgsno.dbf',
'/rman/xtts/xtts_data_D-MESSAY_I-2399541070_TS-XTTS_FNO-14_03vhgsnm.dbf',
'/rman/xtts/xtts_data_D-MESSAY_I-2399541070_TS-XTTS_FNO-8_02vhgsnl.dbf'
)

Import: Release 11.2.0.4.0 - Production on Fri Jan 8 12:40:24 2021

Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
With the Partitioning, Real Application Clusters, OLAP, Data Mining
and Real Application Testing options
Master table "SYS"."SYS_IMPORT_TRANSPORTABLE_01" successfully loaded/unloaded
Starting "SYS"."SYS_IMPORT_TRANSPORTABLE_01":  "/******** AS SYSDBA" directory=xtts dumpfile=xtts.dmp parfile=xtts.par logfile=impdp_xtts.log 
Processing object type TRANSPORTABLE_EXPORT/PLUGTS_BLK
Processing object type TRANSPORTABLE_EXPORT/TABLE
Processing object type TRANSPORTABLE_EXPORT/TABLE_STATISTICS
Processing object type TRANSPORTABLE_EXPORT/POST_INSTANCE/PLUGTS_BLK
Job "SYS"."SYS_IMPORT_TRANSPORTABLE_01" successfully completed at Fri Jan 8 12:40:34 2021 elapsed 0 00:00:08
```
## 6.2 表空間置為讀寫
```
SYS > alter tablespace tbs1 read write;
...
```
# 7. 目標庫後續處理
## 7.1 目標庫建立臨時表空間
> 建立與源庫相同表空間

```
# 源庫查詢是否使用臨時表空間組
SQL > select * from DBA_TABLESPACE_GROUPS;
# 源庫生成建立語句
SELECT 'create temporary tablespace '||TABLESPACE_NAME||' tempfile ''/path/'||tablespace_name||file_id||'.dbf'' size 32767M;' from dba_temp_files order by tablespace_name;
# 如果表空間有多個檔案，還需要適當修改上述輸出。
```
## 7.2 目標庫賦權
```
# 源庫獲取使用者列表
select username
from dba_users
where username not in ('SYS','SYSTEM','DBSNMP','OUTLN','ORACLE_OCM','XS$NULL','MDDATA','SPATIAL_UFS_ADMIN_USR','SPATIAL_CSW_ADMIN_USR','MGMT_VIEW','APEX_PUBLIC_USER') AND DEFAULT_TABLESPACE NOT IN ('SYSAUX');

# 源庫生成系統許可權授權語句
#!/bin/sh
# sys privs generate script
for c in user1 user2
do
		sqlplus -S system/oracle >> sys_priv_grants.log <<eof col="" privilege="" for="" a30="" grantee="" a20="" admin_opt="" a15="" set="" lines="" pagesize="" echo="" off="" heading="" feedback="" select="" to="" from="" dba_sys_privs="" where="" union="" all="" in="" granted_role="" dba_role_privs="" and="" not="" a="" exit="" eof="" done="" tab="" privs="" generate="" script="" c="" user1="" user2="" do="" sqlplus="" system="">> object_grants.log <<eof set="" lines="" pagesize="" echo="" off="" heading="" feedback="" col="" grantee="" for="" a15="" owner="" table_name="" a30="" grantor="" select="" on="" to="" from="" dba_tab_privs="" where="" union="" all="" in="" granted_role="" dba_role_privs="" and="" not="" a="" exit="" eof="" done="" dba="" dba_users="" username="" default_tablespace="" order="" by="" temporary_tablespace="" tablespace="" read="" write="" distinct="" tablespace_name="" dba_tablespaces="" minus="" dba_temp_files="" link=""> 由於只轉換了非system 、sysaux表空間，所以還需要單獨匯出業務使用者除表、索引以外其他物件，例如序列、db link、全域性臨時表等，這些物件儲存在system表空間資料字典。

```
--源端匯出後設資料
nohup expdp system/oracle directory=xtts parfile=expdp.par dumpfile=xtts_expdp_%U.dmp cluster=no logfile=xtts_expdp.log &
$ vi expdp.par
content=metadata_only
schemas=user1
,user2
...
,userN

--目標端匯入
--一些目錄物件
nohup impdp system/oracle directory=xtts table_exists_action=append dumpfile=xtts_expdp_%U.dmp logfile=impdp_xtts.log &
```
> 實際比對過程中，如下兩部分有個別使用者不同：1.lob部分目標端缺失，經排查，此部分lob在源端也不屬於任何表。2.table partition部分目標端沒有，經排查，部分回收站分割槽被統計，排除回收站名稱分割槽 ，分割槽一致，開啟recyclebin時，drop分割槽表之後，dba_tab_partitions依然可以查詢到刪除的BIN開頭的分割槽，https://www.eygle.com/archives/2017/04/drop_partition_recyclebin.html

## 7.6 資料比對
1. 物件數量比對

```
-- 源端目標端均執行
-- 會生成user_object_count.log檔案，源端目標端比對即可
-- 也可以採用下面比對行數方法建立oracle內部表進行比對
#!/bin/sh
# object count scripts
for c in user1 user2
do
		sqlplus -S system/oracle >> users_object_count.log <<eof set="" echo="" off="" heading="" lines="" pagesize="" select="" distinct="" object_type="" from="" dba_objects="" where="" owner="${c}" group="" by="" order="" exit="" eof="" done="" partition="" view="" link="" ddl="" declare="" v_objowner="" varchar2="" v_objname="" v_test="" clob="" cursor="" c="" is="" dba_db_links="" begin="" open="" loop="" fetch="" into="" if="" then="" execute="" immediate="" dbms_metadata.get_ddl="" dual="" dbms_output.put_line="" else="" end="" close="" sqlplus="" system="" create="" table="" table_hash="" number="" key="" for="" in="" user1="" user2="" do="">> user_count.log <<eof declare="" v_cc="" number="" cursor="" v_tbl="" is="" select="" owner="" from="" dba_tables="" where="" begin="" for="" c="" in="" loop="" execute="" immediate="" count="" into="" insert="" table_hash="" values="" end="" commit="" exit="" eof="" done="" link="" col="" a20="" table_name="" a40="" set="" lines="" pages="" dest.owner="" dest="" source.table_hash="" source="" and="" dest.table_name="SOURCE.TABLE_NAME" dest.tc="" source.tc="" minus="" veridata="" sql=""> EXEC UTL_RECOMP.recomp_parallel(4);
# 查詢是否還有無效物件，再根據具體無效原因進行處理
SQL> select owner,object_type,object_name from dba_objects where status='INVALID';
```

## 7.8 收集統計資訊
```
begin
    dbms_stats.gather_database_stats(estimate_percent=>5,method_opt=>'for all columns size 1',degree=>16,cascade=>true,gather_sys=>true,gather_temp=>false,gather_fixed=>true);
end;
/

begin
    dbms_stats.gather_dictionary_stats(method_opt=>'for all columns size 1',degree=>16);
end;
/
```

## 7.9 根據源端調整資料庫引數
> 根據源端引數相關設定，調整目標庫引數設定。

## 7.10 修改弱密碼
> 修改資料庫內部以及作業系統弱密碼符合安全要求。

# 8. 遷移過程遇到問題
> expdp匯出非常慢，中間嘗試使用exp匯出後設資料
## 8.1 exp 使用tts傳輸表空間遇到報錯

```
# 10g以後引入的分割槽技術，exp均不支援
EXP-00113: Feature New Composite Partitioning Method is unsupported,table will not be exported

# 11g引入了Virtual Column與基於Virtual Column的分割槽技術
EXP-00107: Feature(VIRTUAL COLUMN) of column xxx in table xxx.xxx is not supported,table will not be exported

# BINARY_DOUBLE BINARY_FLOAT為Oracle 10g引入的兩種資料型別
EXP-00104: datatype (BINARY_DOUBLE) of column xxx in table xxx.xxx is not supported,table will not be exported
EXP-00104: datatype (BINARY_FLOAT) of column xxx in table xxx.xxx is not supported,table will not be exported
```
## 8.2 expdp匯出緩慢
> expdp匯出資料緩慢，透過10046以及結合現象判斷與下面兩個問題高度關聯

```
Slow DataPump Import (IMPDP) For A Partitioned Table (Doc ID 2014960.1)
# 解決方案: 需要使用非sysdba使用者匯出
        
Bug 13717234 - Datapump export for transport is slow handling a large number of objects (Doc ID 13717234.8)
Transport Tablespace Expdp is Slow when Handling Large Number of Objects in the Database (Doc ID 1554570.1)
# 解決方案：需要為11.2.0.3打補丁patch 13717234
```

## 8.3 一些後設資料處理
1. 由於我們遷移無法重啟資料庫，所以無法將資料庫置為read only，如果可以將資料庫置為read only，則直接可以在rman中convert database，無需convert tablespace轉換。
2. convert tablespace由於未傳輸system表空間，所以一些存放在資料字典中物件db link、目錄物件需要手工建立。</eof></eof></eof></eof></eof></tablespace_name>

Oracle資料庫遷移 - 異構傳輸表空間TTS HP-UX遷移至Redhat Linux 7.7

相關文章