【MYSQL】Mysql 裝置選型與系統規劃-實戰參考文件-可下載

leonarding發表於2014-06-26

更多精彩內容盡在www.leonarding.com

Mysql 裝置選型與系統規劃》


引言:專案的裝置選型是一項細膩而又艱鉅的任務。因為它有一次性、不可更改、相容性、擴充套件性、功能性、效能性、易用性等引數閥值來參照。例如我們的專案,首先要了解今年的裝置採購預算有多少,如何分配的,分配下來每個專案大概有多少,按照預算標準進行分級。其次由於我們是金融企業採購範圍是有所限制的,會有一個備選目錄,上面列舉了品牌、廠家、規格等資訊,只能在這些目錄中選擇,如果裝置有超出目錄的需要寫說明申請。

再次就需要按照需求說明書和自己的實戰經驗來選擇合適的裝置,我可以列舉幾項參考引數來幫助我們選擇到合適的裝置。


裝置選型

CPU:聚合運算、並行度、硬體RAM結構、記憶體匹配程度,是選擇CPU的重要指標。

記憶體:結果集響應時間、部署的軟體負載程度、作業系統、資料互動、記憶體匯流排,是選擇記憶體的重要指標。

儲存:根據業務資料應用場景,單位時間的吞吐量,I/O效率,資料總量,讀寫是否分離,順序讀寫,隨機讀寫,資料安全級別,HA,備份與恢復時間等等考慮。

預估資料總量:一般我們以一年為一個時間單位,根據介面規範和需求說明書,把所有表中所有欄位的長度累加起來,並計算出總的記錄條數,這樣就可以大概算出總的資料量是多少,在根據超配原理,放大2~3倍來得出結論。

網路裝置:網路吞吐量、最大併發會話數、速率、是否資料加密、頻寬、支援多少光纖口和電口,電路保護、安全保護模式、支援幾個磁碟通道(一個HBA+一個磁碟子系統=一個磁碟通道)光口or電口。

根據I/O效率可分:PCI-E->SSD->SAS->SCSI->SATA

作業系統:收費版、免費版、32bit64bit


系統規劃:我認為系統規劃可以與裝置選型一起來執行,因為他們是一對相輔相成的孿生兄弟,系統的精細化規劃有助於裝置引數的選擇,裝置的型號的選擇有助於引導規劃方案。根據不同場景常用的有如下幾個方面。

資料區

系統區

備份區

臨時區

日誌區

緩衝區


業務評估

資料總量

Step11年內資料量大約500G

結果:每秒產生的資料量為500*1024(MB)*1024(KB)/(365*24*60*60)31536000s=17KB/s


每秒請求數&讀寫比

Step2:每秒3w次請求,讀寫比1:1

結果:每秒讀請求30000/2*1=15000/秒,每秒寫請求30000/2*1=15000/


Step3:每次資料記錄長度大約為1KB

結果:根據Step1得出的結果,每秒insert的寫入資料量大約為17KB/s,可以求出每秒insert的寫請求17KB/1KB=17次。根據Step2得到的每秒寫請求15000/秒(insert寫請求+update寫請求+delete寫請求),可知15000-17=14983/supdatedelete寫請求。由於Mysql資料庫的讀寫操作按照page為單位處理,一頁大小為16KB(預設,也可以手動定義8KB32KB等),假設每次操作的頁都不同,那麼每秒寫請求資料量為16KB*15000=234M/s,每秒讀請求資料量為16KB*15000=234M/s


Step4:處理最近7天內的資料

結果:熱資料量為500GB/365*7=10GB


響應時間

Step5:操作毫秒ms級返回

結果:結果集要求毫秒ms級返回,那麼需要儘可能的將熱資料載入入記憶體中進行快取。按照記憶體命中率100%計算,

那麼Innodb bufferMysql儲存引擎緩衝區)大小為10GB,而其他元件例如OSApplicationnetwork需要大約4GB記憶體,因此記憶體超配大約為14GB。按照超配原則,寫頻寬(WBPS)限制為300MB/s,讀頻寬(RBPS)限制為300MB/s


重要程度

根據業務資料重要程度,採用合適的HA高可用技術。


 【MYSQL】Mysql 裝置選型與系統規劃-實戰參考文件.pdf      請點選下載

Mysql  裝置選型  系統規劃  成本評估  業務評估



Leonarding劉盛

2014.06.26

北京&summer

分享技術~成就夢想

Blogwww.leonarding.com


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/26686207/viewspace-1194587/,如需轉載,請註明出處,否則將追究法律責任。

相關文章