【新炬網路名師大講堂】有關DBLINK操作的語句執行機制及最佳化方式
分散式查詢語句對於遠端物件的查詢在遠端庫執行,在遠端可以執行的語句會透過最佳化器的查詢轉換,執行的是轉換後的語句,然後結果集返回到本地,再與本地表運算。當然,
本地還是遠端是相對的,我們可以透過driving_hint改變主查詢計劃的執行位置,但是對DML,driving_site是失效的。另外對遠端表也可以使用其他hint。
分散式查詢可能一條SQL語句中有不同遠端庫的表,最佳化分散式查詢要達到3點效果:
1.訪問同一個遠端庫的次數要儘量少,也就是同一遠端庫的物件應該儘量轉為一條SQL運算,一次運算,運算後將結果返回給本地庫
2.從遠端庫上返回到本地庫的結果要儘量少,只訪問遠端物件需要的欄位
3.遠端庫上執行的語句的計劃以及遠端庫返回的結果與本地可以聯合查詢的計劃應該高效
最佳化分散式查詢需要從以上3個方面著手。
下面的local_tab 7萬多條,remote_big_tab百萬條,remote_small_tab 7萬多條。
1.使用Collocated內聯檢視
也就是SQL要對引用不同遠端庫的表,要組織好,將相同庫的表放一起組織成內聯檢視,這樣ORACLE就很容易知道這個內聯檢視裡的表是在同一遠端庫作完查詢
後再返回給本地庫,這樣減少了本地庫與遠端庫的互動次數和傳輸結果集的數量和次數。比如上面的查詢
SELECT * FROM local_tab a WHERE EXISTS (SELECT 1 FROM remote_big_tab@remote b,remote_small_tab@remote c WHERE b.object_id=c.object_id AND a.object_type=b.object_type);
執行計劃 |
可以看出,在遠端庫remote上執行的語句是兩個遠端表關聯後,並經過查詢轉換(全轉為大寫,自己取了別名A1,A2,ORACLE內部自己改造為止查詢DISTINCT remote_big_tab.object_type),之後遠端查詢結果返回給本地,可以去遠端庫裡查詢實際的計劃,走的是HASH JOIN。
2.瞭解CBO最佳化器對分散式查詢的處理
CBO對分散式查詢的處理,也是儘量轉為Collocated內聯檢視,CBO會做如下動作:
1)所有可mergeable的檢視會merge
2 ) CBO會測試Collocated內聯檢視的query BLOCK
3 ) 如果可以使用,就使用合併
當然,CBO對分散式查詢的處理,可能是不高效的,這時候得用其他的方法,比如使用HINT,改造SQL,改造分散式查詢的方法(遠端庫用檢視)等。
特別當分散式查詢包含下列情況,CBO可能是不高效的:
1)有分組運算
2)有子查詢
3)SQL很複雜
比如下面語句含有子查詢:
SELECT * FROM local_tab a,remote_big_tab@remote b,remote_small_tab@remote c WHERE b.object_id=c.object_id AND a.object_type=b.object_type AND a.object_id IN (SELECT object_id from sub); 執行計劃 ———————————————————- Plan hash value: 252158753 ———————————————————————————————————- | Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time | Inst |IN-OUT| ———————————————————————————————————- | 0 | SELECT STATEMENT | | 79M| 20G| 3843 (46)| 00:00:47 | | | |* 1 | HASH JOIN | | 79M| 20G| 3843 (46)| 00:00:47 | | | | 2 | REMOTE | REMOTE_SMALL_TAB | 5320 | 431K| 8 (0)| 00:00:01 | REMOTE | R->S | |* 3 | HASH JOIN | | 172M| 31G| 2978 (31)| 00:00:36 | | | |* 4 | HASH JOIN | | 5260 | 565K| 303 (2)| 00:00:04 | | | | 5 | SORT UNIQUE | | 5320 | 69160 | 5 (0)| 00:00:01 | | | | 6 | TABLE ACCESS FULL| SUB | 5320 | 69160 | 5 (0)| 00:00:01 | | | | 7 | TABLE ACCESS FULL | LOCAL_TAB | 73985 | 7008K| 296 (1)| 00:00:04 | | | | 8 | REMOTE | REMOTE_BIG_TAB | 1479K| 119M| 1819 (2)| 00:00:22 | REMOTE | R->S | ———————————————————————————————————- Predicate Information (identified by operation id): ————————————————— 1 – access(“B”.”OBJECT_ID”=”C”.”OBJECT_ID”) 3 – access(“A”.”OBJECT_TYPE”=”B”.”OBJECT_TYPE”) 4 – access(“A”.”OBJECT_ID”=”OBJECT_ID”)
Remote SQL Information (identified by operation id):
2 – SELECT “OBJECT_NAME”,”SUBOBJECT_NAME”,”OBJECT_ID”,”DATA_OBJECT_ID”,”OBJECT_TYPE”,”CREATED”,
8 – SELECT “OWNER”,”OBJECT_NAME”,”SUBOBJECT_NAME”,”OBJECT_ID”,”DATA_OBJECT_ID”,”OBJECT_TYPE”,”C |
透過計劃可以看到REMOTE有兩個,兩張遠端表無法做Collocated inline VIEW運算。
再比如下面的語句,有分組運算:
SELECT * FROM local_tab a,remote_big_tab@remote b,(SELECT max(object_id) object_id FROM remote_small_tab@remote c GROUP BY c.object_type) c WHERE b.object_id=c.object_id AND a.object_type=b.object_type;
執行計劃
Remote SQL Information (identified by operation id): |
透過計劃看出,將遠端表進行分組運算後,傳輸給本地庫,然後大表傳輸給本地庫,之後做HASH JOIN,這是不高效的。執行時間:已用時間: 00: 02: 12.22
可以改造分散式查詢,手動組織Collocated inline VIEW,在遠端庫建立view:
CREATE OR REPLACE VIEW v_remote AS SELECT b.* FROM remote_big_tab b,(SELECT max(object_id) object_id FROM remote_small_tab c GROUP BY c.object_type) c WHERE b.object_id=c.object_id;
查詢改為:
執行計劃 |
透過計劃可以看出,現在是遠端表做整體操作之後才返回到本地了。
3.使用HINT,特別是driving_site HINT
對遠端表可以使用hint,比如parallel,use_nl,use_hash,FULL等。
driving_site hint能夠指定執行計劃在遠端還是本地做,比如下面使用driving_site(b),那麼原來的遠端表就相當於本地表,本地表要傳輸給remote庫,主計劃在remote庫上執行
SELECT/*+driving_site(b)*/ * FROM local_tab a,remote_big_tab@remote b,(SELECT max(object_id) object_id FROM remote_small_tab@remote c GROUP BY c.object_type) c WHERE b.object_id=c.object_id AND a.object_type=b.object_type; |
當然,如果是driving_site(a)那麼就是本地驅動的,預設的是本地驅動的。
使用driving_site,特別是本地小結果集,遠端大結果集的時候,總體結果集較小,希望計劃在遠端驅動,這樣遠端執行完畢,將結果集傳輸到本地,這樣避免大結果集的傳輸。
例1:
小表9998條,大表3169376條記錄,遠端大表sub_id,acc_id上聯合索引
SQL> SELECT COUNT(*) FROM small_tab_local a, big_tab_remote@remote b 2 WHERE a.sub_id=b.sub_id AND a.acc_id=b.acc_id; 859 已用時間: 00: 00: 50.76
執行計劃
Predicate Information (identified by operation id):
Remote SQL Information (identified by operation id):
3 – SELECT “SUB_ID”,”ACC_ID” FROM “BIG_TAB_REMOTE” “B” ORDER BY “SUB_ID”,”ACC_ID” |
查詢876條資料,耗時50s,顯然將大結果集拉到本地做運算是不好的,因為本地表很小,遠端大表有索引,如果能在遠端執行,並走nl,那麼顯然效率非常好。使用driving_site hint改造查詢如下:
SELECT/*+driving_site(b) ordered use_nl(b)*/ COUNT(*) FROM small_tab_local a, big_tab_remote@remote b WHERE a.sub_id=b.sub_id AND a.acc_id=b.acc_id;
計劃如下:
Predicate Information (identified by operation id):
Remote SQL Information (identified by operation id): |
現在主計劃是在遠端remote上執行的,本地表small_tab_local變成了遠端表,會講small_tab_local結果集送到遠端,只查詢了sub_id,acc_id,然後作為驅動表,與遠端表做nl運算,
計劃裡可以看到遠端表走索引了,最後將遠端結果返回到本地。(事實上這裡的遠端庫與本地庫換了)
driving_site hint注意點:
driving_site對dml無效,dml以目標表所在庫驅動SQL計劃。比如下面的driving_site失效,後面的hint還是有效的。
CREATE TABLE test_cnt (cnt NUMBER); INSERT INTO test_cnt SELECT/*+driving_site(b) ordered use_nl(b)*/ COUNT(*) FROM small_tab_local a, big_tab_remote@remote b WHERE a.sub_id=b.sub_id AND a.acc_id=b.acc_id; 已用時間: 00: 01: 31.48
執行計劃
Remote SQL Information (identified by operation id):
5 – SELECT /*+ OPAQUE_TRANSFORM USE_NL (“B”) */ ”SUB_ID”,”ACC_ID” FROM “BIG_TAB_REMOTE” “B” |
語句執行1分31s,driving_site hint失效,但是後面的NL沒有失效,可以從計劃中看出類似繫結變數的東西,這實際對於每個small_tab_local的結果集的行,將sub_id,acc_id傳給遠端表big_tab_remote,也就是:1,:2,這樣本地的表篩選出多少行,遠端語句 SELECT /*+ OPAQUE_TRANSFORM USE_NL (“B”) */ ”SUB_ID”,”ACC_ID” FROM “BIG_TAB_REMOTE” “B”
WHERE :1=”SUB_ID” AND :2=”ACC_ID” 就執行多少次。
這裡本地表9998條,無過濾條件,因此遠端表語句執行了9998次,雖然遠端查詢也是走索引的,但是SQL被執行了9998次,是非常影響效能的。可以去遠端庫查詢下:
SQL> SELECT sql_text,executions FROM v$sql WHERE sql_text LIKE ‘%SELECT /*+ USE_NL (“B”) */ “SUB_ID”,”ACC_ID” FROM “BIG_TAB_REMOTE”%’ 2 / SQL_TEXT EXECUTIONS ——————————————————————————– ————————————————————– SELECT /*+ USE_NL (“B”) */ “SUB_ID”,”ACC_ID” FROM “BIG_TAB_REMOTE” “B” WHERE :1= 9998 |
這裡driving_site失效,但是後面的nl還有效,遠端表執行的次數是small_tab_local表的數量(因為這裡沒有謂詞過濾small_tab_local),可以使用其他hint,比如。
INSERT INTO test_cnt
SELECT/*+ordered use_hash(b)*/ COUNT(*) FROM small_tab_local a, big_tab_remote@remote b
WHERE a.sub_id=b.sub_id AND a.acc_id=b.acc_id;
當然效率不一定很好,因為這裡由遠端驅動效率最好,為了不想driving_site失效,可以使用PL/SQL(這裡是只查詢數量,如果查詢結果集可以使用PL/SQL批處理插入)。
BEGIN FOR i IN (SELECT/*+driving_site(b) ordered use_nl(b)*/ COUNT(*) cnt FROM small_tab_local a, big_tab_remote@remote b WHERE a.sub_id=b.sub_id AND a.acc_id=b.acc_id) LOOP INSERT INTO test_cnt VALUES(i.cnt); END LOOP; COMMIT; END; 已用時間: 00: 00: 00.89 |
例2:
查詢語句:
SELECT * FROM v_remote WHERE object_id IN ( SELECT c.object_id FROM c WHERE c.object_name IN (SELECT d.object_name FROM d WHERE d.object_id=11) ); |
比較慢,返回32行,需要10來秒。其中v_remote是個檢視,此檢視連線到遠端表,其中遠端的兩張表的object_id都有索引:
CREATE OR REPLACE VIEW v_remote AS SELECT object_name,object_id,object_type FROM a@remote UNION ALL SELECT object_name,object_id,object_type FROM b@remote;
兩表記錄數如下: |
c和d是本地表,d.object_id以及c.object_name有索引。單獨查詢很快,<1s就會返回:
–單獨本地語句消耗時間00: 00: 00.01 SQL> SELECT c.object_id FROM c WHERE c.object_name IN (SELECT d.object_name FROM d WHERE d.object_id=11); 已用時間: 00: 00: 00.01 執行計劃 ———————————————————- Plan hash value: 2528799293 —————————————————————————————- | Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time | —————————————————————————————- | 0 | SELECT STATEMENT | | 2 | 94 | 6 (17)| 00:00:01 | | 1 | NESTED LOOPS | | | | | | | 2 | NESTED LOOPS | | 2 | 94 | 6 (17)| 00:00:01 | | 3 | SORT UNIQUE | | 1 | 17 | 2 (0)| 00:00:01 | | 4 | TABLE ACCESS BY INDEX ROWID| D | 1 | 17 | 2 (0)| 00:00:01 | |* 5 | INDEX RANGE SCAN | IDX_D | 1 | | 1 (0)| 00:00:01 | |* 6 | INDEX RANGE SCAN | IDX_C | 2 | | 2 (0)| 00:00:01 | | 7 | TABLE ACCESS BY INDEX ROWID | C | 2 | 60 | 3 (0)| 00:00:01 | —————————————————————————————- Predicate Information (identified by operation id): ————————————————— 5 – access(“D”.”OBJECT_ID”=11) 6 – access(“C”.”OBJECT_NAME”=”D”.”OBJECT_NAME”)
–單獨遠端語句消耗時間 00: 00: 00.06
Remote SQL Information (identified by operation id):
Predicate Information (identified by operation id):
Remote SQL Information (identified by operation id): |
單獨查詢很快,為什麼聯合查詢就慢了呢?原因在於:
單獨執行遠端查詢 | 本地與遠端混合查詢 |
直接執行檢視,並將OBJECT_ID=11謂詞推入到檢視中,走索引,最後只將32行結果返回給本地 | 從計劃中可以看到,本地查詢與遠端查詢做HASH JOIN,但是訪問遠端的SQL是沒有謂詞的,這樣必然全表從遠端拉到本地,因為行數較多,所以慢 |
–耗時已用時間: 00: 00: 00.08 SQL> SELECT/*+driving_site(v_remote.a)*/ * FROM v_remote WHERE object_id IN ( 2 SELECT c.object_id FROM c WHERE c.object_name IN (SELECT d.object_name FROM d WHERE d.object_id=11 3 ); 已選擇32行。 已用時間: 00: 00: 00.08 ————————————————————————————— | Id | Operation | Name | Rows | Bytes | Cost | Inst |IN-OUT| ————————————————————————————— | 0 | SELECT STATEMENT REMOTE | | 15 | 1425 | 109 | | | | 1 | NESTED LOOPS | | 15 | 1425 | 109 | | | | 2 | SORT UNIQUE | | | | | | | | 3 | VIEW | VW_NSO_1 | 3 | 39 | 8 | MZT~ | | | 4 | REMOTE | | | | | ! | R->S | | 5 | VIEW | | 5 | 410 | 33 | | | | 6 | UNION-ALL PARTITION | | | | | | | | 7 | TABLE ACCESS BY INDEX ROWID| A | 32 | 960 | 35 |MZT~ | | |* 8 | INDEX RANGE SCAN | IDX_A | 32 | | 3 |MZT~ | | | 9 | TABLE ACCESS BY INDEX ROWID| B | 1 | 32 | 2 | MZT~ | | |* 10 | INDEX RANGE SCAN | IDX_B | 1 | | 1 | MZT~ | | —————————————————————————————
Predicate Information (identified by operation id):
Remote SQL Information (identified by operation id): |
現在效率很高,從計劃中可以看出,現在計劃在遠端庫上執行,本地的查詢查詢一行object_id=11傳輸給遠端,並驅動檢視查詢,檢視走索引,然後再將結果返回給本地。另外注意hint 檢視的用法是hint(檢視名.表名)。
再說說driving_site失效的情況:
DML,DDL讓driving_site失效,driving_site hint會自動被oracle忽略掉,因為此時以目標表所在的庫為主計劃驅動,相當於driving_site(目標表庫)
1)DML,DDL如果是對本地表DML,主計劃是在本地做的,遠端資料拉到本地,driving_site(remote)失效,當然driving_site(local)是自動的,寫不寫無所謂
2)DML如果是對遠端表DML,主計劃是在遠端做的,本地資料送到遠端,相當於自動driving_site(remote)
–本地建表和操作表test,driving_site失效 CREATE TABLE test AS SELECT/*+driving_site(v_remote.a)*/ * FROM v_remote WHERE object_id IN ( SELECT c.object_id FROM c WHERE c.object_name IN (SELECT d.object_name FROM d WHERE d.object_id=11) );
————————————————————————————————————–
Predicate Information (identified by operation id):
–與上面類似
–遠端表操作,自動driving_site(remote)
—————————————————————————————
Remote SQL Information (identified by operation id):
–和上面一樣 |
含有dblink的SQL,特別是DML SQL,最佳化是很複雜的,特別是遠端表與本地表結果集都很大,或含有多個不同的遠端物件,這時候更加複雜。透過Collocated inline view,自定義檢視,driving_site hint(當然有時候其它hint也有效,比如use_hash),PL/SQL程式等,在業務允許的情況下也可以透過MV等各種表同步技術,減少dblink使用,可以在一定程度上最佳化含有DBLINK的分散式操作語句。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29960155/viewspace-1376273/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 【新炬網路名師大講堂】TUXEDO的配置最佳化之路一UX
- 【新炬網路名師大講堂】TUXEDO的配置最佳化之路二UX
- 【新炬網路名師大講堂】關於LOG FILE SYNC的解惑
- 【新炬網路名師大講堂】SOA套件介紹套件
- 【新炬網路名師大講堂】weblogic整合ejbWeb
- 【新炬網路名師大講堂】關於IMSI/MSISDN/IMEI的介紹
- 【新炬網路名師大講堂】總結和結論
- 【新炬網路名師大講堂】svn在linux下的使用Linux
- 【新炬網路名師大講堂】初識mysql的體系結構MySql
- 【新炬網路名師大講堂】Oracle中的回收站(Recycle Bin)Oracle
- 【新炬網路名師大講堂】關於Oracle 12c Flex ASM特性的理解OracleFlexASM
- 【新炬網路名師大講堂】Oracle Database 12c 新特性總結OracleDatabase
- 【新炬網路名師大講堂】Data Guard–物理主備庫切換
- 【新炬網路名師大講堂】cursor: pin S wait on X模擬AI
- 【新炬網路名師大講堂】clone oracle 12c pluggable databasesOracleDatabase
- 【新炬網路名師大講堂】AIX上的配置網路調優引數AI
- 【新炬網路名師大講堂】GoldenGate的ADD SCHEMATRANDATA命令研究Go
- 【新炬網路名師大講堂】12c新特性:備份CDBs和PDBs
- 【新炬網路名師大講堂】12c新特性:使用RMAN連線CDB
- 【新炬網路名師大講堂】Oracle 11g rac 刪除節點Oracle
- 【新炬網路名師大講堂】j2ee與weblogic簡介Web
- 【新炬網路名師大講堂】oracle application server之核心技術opmnOracleAPPServer
- 【新炬網路名師大講堂】執行計劃順序不符合一般規則
- 【新炬網路名師大講堂】讓業務飛起來,應用效能端到端最佳化
- 【新炬網路名師大講堂】RAC環境下SYSDATE返回錯誤時間
- 【新炬網路名師大講堂】不同資料庫取前幾條記錄資料庫
- 【新炬網路名師大講堂】Oracle小知識- Oracle KILLED會話的釋放Oracle會話
- 【新炬網路名師大講堂】在AIX機器上使用xlc編譯c的動態庫AI編譯
- 【新炬網路名師大講堂】CBO中”與NULL在cardinality計算上的差別Null
- 【新炬網路名師大講堂】MySQL複製與監控系列文章(1)——篇首MySql
- 【新炬網路名師大講堂】WAS控制檯資料來源資訊無故丟失
- 【新炬網路名師大講堂】有限條件下怎樣做好恢復演練
- 【新炬網路名師大講堂】理解TimesTen錯誤日誌資訊”waiting for latch”AI
- 【新炬網路名師大講堂】DATABASE REPLAY加壓播放引數之SCALE_UP_MULTIPLIERDatabase
- 【新炬網路名師大講堂】12c高可用新特性what-if command evaluation介紹
- 【新炬網路名師大講堂】記一次打PSU遇到的Copy failed的問題AI
- 【新炬網路名師大講堂】11gR203 RAC一個比較嚴重的bug
- 【新炬網路名師大講堂】O2O同步實施涉及的變更V1.0