資料讀寫壓力大,讀寫分離

AlbenXie發表於2018-08-20

(1)採用資料庫作為讀庫

問題:資料複製問題。應用對於資料來源的選擇問題。

資料庫系統一般都提供了資料複製的功能,我們可以直接使用資料庫系統的自身機制,對於資料複製,我們還要考慮時延問題,以及複製中資料來源和目標之間的對映關係和過濾條件的支援問題。資料複製延遲帶來是短期資料不一致,例如修改了使用者資訊,但還沒有複製到讀庫(因為時延),那麼讀出來的就不是最新的。

不同的資料庫有不同的支援,MySQL支援Master(主庫)+Slave(備庫)的結構,提供了資料複製的機制,MySQl5.5之前支援的是非同步的資料複製,主庫執行完一些事務後,是不會管備庫的進度的,若備庫落後,主庫有出現crash,這事備庫的資料就是不完整的,我們無法使用備庫來繼續提供資料一致的服務了。會有延遲,並且提供的是完全映象方式的複製,保證主庫和備庫資料一致性(不考慮時延),MySQL5.5加入了對semi-sync的支援,從資料安全性上,它比非同步複製要好,不過從讀寫分離的角度,還是存在複製延遲的可能。semisync則在一定程度上保證提交的事務已經傳給了至少一個備庫。如果主備網路故障或者備庫掛了,主庫在事務提交後等待10s,超時後,關閉semi-sync特性,降低為普通的非同步複製。Oracle中data Guard,分為物理備庫和邏輯備庫。

(2)加速資料讀取---快取

快取系統一般是用來儲存和查詢鍵值對的(key-value)。一般在快取中放的是“熱”資料而不是全部資料,那麼填充的方式是通過應用來完成的,即應用訪問快取,如果資料不存在,那麼從資料庫中讀出資料後就放入快取,當快取容量不夠時,需要清除資料,最近不被訪問的資料就被清除了。還有一種做法是在資料庫的資料發生變化後,主動把資料放入快取系統中,相對於前種方式是,在資料變化時能夠及時更新快取中的資料,不會造成讀取失效,這種方式一般用於全資料快取情況。

(3)頁面快取

相關文章