Mysql故障處理2則

要過年了nnd問題也特別多，今天就碰到2個，一個是mysql複製程式往前走但資料不同步，一個是效能問題導致所有寫和讀的全部阻塞。[@more@]

手下做mysql複製，做好了之後發現read master position在不斷移動，但是資料就是不同步。其實稍微理解一點mysql複製中server-id的功能就知道怎麼回事了，馬上開啟my.cnf一看，果然有2個server-id。去掉一個自然就ok了。這個問題判斷起來還是要靠經驗，不過做事情仔細就不會有這個故障了。。。。

晚上回家，在地鐵收到值班人員的電話，計費系統出現大量sql堵塞，讀的資料庫同步緩慢。

到家裡上vpn分析了監控系統的日誌。檢視了系統當前的情況，定位了問題sql，開發加了一句不必要的排序造成了sql走的索引全掃描，100w的表麼併發一大當然死掉了，而且還是句update，直接導致序列工作的複製程式在讀的機器上前進緩慢，這個情況就是oracle來也是一樣死，還是開發牛比啊。。。。

馬上讓應用停止和該表有關的應用，在slave端加了skip-replicate-table跳過該表的相關sql，讓slave能夠儘快同步其他的表資料，不然n多衝值不到帳的投訴就來了。。。處理完還發現更大的問題，因為發現問題後是強行關閉資料庫的，而mysql使用了myisam，再加上skip了該表的複製，所以造成了master和slave該表資料不同步，只能新建了個新庫，將寫庫上表複製到新庫中，再複製表到slave端，最後使用insert...select同步了資料。為什麼要新建個庫呢，因為mysql複製是繼續sql的，所以簡單的使用insert...select是無法在寫和讀上插入同樣資料的。所以必須這麼做，同樣的做法還有註釋掉log-bin以後複製檔案，不過這樣就要停庫咯呵呵

最後麼抓開發改程式，發事故報告。看來手下dba數量和質量還是要提高啊，總靠自己非要累死不可。。。。