海量資料處理_表結構變更
問題:
隨著應用的演變,需要對大表結構進行調整,這裡主要討論刪除列、增加列兩種情況。
注意:對於大表,進行較大的維護操作後,需要對錶進行重構,對索引重構,重新收集統計資訊。
1,刪除列
1.1對於大表(3000萬記錄),直接刪除列(alter table t drop column)耗時比較長,可能存在中斷恢復問題。使用checkpoint(alter table t drop column ...checkpoint ),增加提交次數。如果失敗,處於不可用狀態,需要使用DROP COLUMNS CONTINUE。
alter table users drop(
LOGIN_NAME,
USER_TYPE,
PASSWORD,
STATUS,
LOGIN_STATUS,
LOGIN_DATE,
CHANGE_PASSWORD,
LOGIN_ERROR,
ERROR_TIMES,
ERROR_DAYS,
REG_TYP
) checkpoint 10000;
--Elapsed: 00:26:44.95
1.2使用set unused可以很快完成邏輯刪除,在系統空閒時,使用drop unused columns物理刪除。
alter table users set unused(
LOGIN_NAME,
USER_TYPE,
PASSWORD,
STATUS,
LOGIN_STATUS,
LOGIN_DATE,
CHANGE_PASSWORD,
LOGIN_ERROR,
ERROR_TIMES,
ERROR_DAYS,
REG_TYP
);
alter table users drop unused columns checkpoint 100000;
2,增加列
如果新增加列有預設值,需要較大的回滾段,處理時間也較長。
測試中,在記錄1000萬行時,需要回滾段大概1G。可以分步處理:
--增加列
alter table payee add(FIXED_ACT varchar2(1));
--設定新增行的預設值
alter table payee modify(FIXED_ACT default '0');
--設定已有行的預設值
alter session enable parallel dml;
update /*+ parallel(t 8) */ payee t set fixed_act='0' where fixed_act is null;
commit;
alter session disable parallel dml;
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/18922393/viewspace-696734/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- DBus資料庫表結構變更處理方案資料庫
- 海量資料處理_表分割槽
- 海量資料處理
- 海量資料處理:十道面試題與十個海量資料處理方法總結面試題
- 海量資料處理2
- 海量資料處理 (轉)
- 海量資料處理_使用外部表進行資料遷移
- 海量資料處理_批量插入
- 海量資料處理_批量更新
- 海量資料處理_表分割槽(線上重定義)
- 幾千萬記錄,資料庫表結構如何平滑變更?資料庫
- 海量資料的併發處理
- 關於海量資料處理分析的經驗總結
- 海量資料處理利器greenplum——初識
- MySQL千萬級大表線上變更表結構MySql
- 海量資料處理_資料泵分批資料遷移
- 海量資料處理_刪除重複行
- 關於海量資料常用的資料結構資料結構
- iOS小記--使用結構體處理資料表的問題iOS結構體
- 用物化檢視單行同步資料庫時,源表結構變化時的處理步驟資料庫
- 快手關於海量模型資料處理的實踐模型
- 滴滴處理海量資料的祕訣是什麼?
- SQL Server 2005對海量資料的處理SQLServer
- 海量資料處理利器 Roaring BitMap 原理介紹
- 超3萬億資料實時分析,JCHDB助力海量資料處理
- 利用AUDIT檢視資料庫表結構變化資料庫
- 十道海量資料處理面試題與十個方法大總結(轉)面試題
- 大資料時代,野心勃勃的MongDB為你處理海量資料!大資料
- 處理資料缺失的結構化解決辦法
- 如何用深度學習處理結構化資料?深度學習
- 擅長處理臨時資料的結構——棧
- Oracle、MySQL常見表結構變更語句對比OracleMySql
- var+不可變資料結構 vs val+可變資料結構資料結構
- 資料治理--結構化資料處理 各種情況的資料重跑,流水錶用拉鍊表
- 【Soul閘道器探祕】http資料同步-Web端處理變更通知HTTPWeb
- 我的《海量資料處理與大資料技術實戰》出版啦!大資料
- 海量資料表刪除方案
- 資料預處理-資料整合與資料變換