對於最近2天的bi資料庫的最佳化
由於朋友的一個bi資料庫最近使用者增加,日誌增加很多,每天有2000w行的使用者日誌,需要分析,但機器還是原來的一個32位的pc機,速度比較慢,報表需要10個小時才能出來,上頭不能及時看到報表,很是著急!
我先想32位的對於記憶體使用不好,有1.7G的限制,想先突破,我參考了http://yangtingkun.itpub.net/post/468/492617,但是發現出現ora錯誤 ORA-00371: not enough shared pool memory, should be atleast 72265318 bytes
要注意的是,開啟這個引數後DB_CACHE_SIZE 就不能用了,否則啟動的時候會報ORA-00385: cannot enable Very Large Memory with new buffer cache parameters的錯誤,要用DB_BLOCK_BUFFERS來代替
()
設了shared_pool_size和
event = "10262 trace name context forever, level 1024000"
後資料庫能重新啟動
但是發現資料插入很慢,每秒鐘才850條資料(他們沒有采用sqlldr入庫,而是逐條插入,10000條再commit),這樣算下來插入2000w資料需要7個小時才能插完,很是鬱悶!
然後我取消了相關引數,檢視sql語句的執行時間
發現insert into mid_user_action_log
(RECORDTIME,MOBILE,PROVINCEID,CITYID,URI,REGTIME,USERNAME) select /*+
USE_HASH(t,r) */
t.RECORDTIME,t.MOBILE,t.PROVINCEID,t.CITYID,t.URI,r.recordtime
,t.userid from a t ,b r where t.mobile=r.mobile(+) and t.mobile is not
null and length(t.mobile)=11
這個a表有1800w條資料,b有600w條資料
使用hash_join後發現很快2分鐘!
還有一個:insert into a select mobile ,case .. when from b group by mobile的語句,發現select不花費時間,但是insert into花費了大量的時間,整個時間花了大概65分鐘,經查發現a表是個大表,有1800w的資料,有2個索引;慢就慢在組織索引上;alter index inx_a unusable; 然後插入資料;最後alter index inx_a rebuild;最後發現時間為13分鐘!
[@more@]
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/7916042/viewspace-1028975/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 對於JDBC資料庫的初始化操作JDBC資料庫
- 為什麼要對資料庫最佳化資料庫
- 資料庫的最佳化和效率資料庫
- 對於最近的一些理解和思考
- bi資料庫遷移小記資料庫
- 紹Oracle資料庫的最佳化之資料庫磁碟I/OOracle資料庫
- 資料庫的大腦-最佳化器資料庫
- 報表工具對於國產資料庫的支援性如何?資料庫
- 資料庫——對索引的理解資料庫索引
- 最近恢復了一個8T資料量的資料庫資料庫
- 為什麼大資料不等於BI?大資料
- 資料庫查詢和資料庫(MySQL)索引的最佳化建議資料庫MySql索引
- 1.2.2. 多租戶對於資料庫整合的好處資料庫
- 關於資料庫開啟大頁對效能的影響資料庫
- 對於多個資料庫表對應一個Model問題的思考資料庫
- BI工具對比|Smartbi與億信ABI兩款BI資料看板軟體對比
- 資料庫開發(19)基於物件的資料庫資料庫物件
- 【恩墨學院】基於裸資料的異地資料庫效能診斷與最佳化資料庫
- MySQL 資料庫的對庫的操作及其資料型別悔鋒MySql資料庫資料型別
- 對資料庫的大體理解資料庫
- 【MySQL】資料庫最佳化MySql資料庫
- mysql資料庫最佳化MySql資料庫
- Oracle SQL 'or' 的最佳化,最近的案例一則。OracleSQL
- 資料庫系統概述之資料庫最佳化資料庫
- 關於資料字典的查詢效率最佳化
- 可用於資料庫對比評估的FURPS+模型資料庫模型
- mysql資料庫最佳化需要遵守的原則MySql資料庫
- #新炬學院分享#關於Oracle資料庫最佳化的幾點總結Oracle資料庫
- 大資料BI系統搭建對企業經營的作用有哪些大資料
- 對接金蝶ERP的bi資料視覺化軟體有哪些?視覺化
- BI軟體推薦|適用於零售業的BI資料視覺化軟體OurwayBI視覺化
- exp/imp對資料庫版本的要求資料庫
- 對資料庫檢視view的理解資料庫View
- 對資料庫的統計和分析。資料庫
- oracle Mysql PostgreSQL 資料庫的對比OracleMySql資料庫
- 關於大資料和資料庫的討論大資料資料庫
- MySQL資料庫效能最佳化MySql資料庫
- mysql資料庫SQL最佳化MySql資料庫