MySQL 高併發配置最佳化
[root@localhost ~]# mysql -Vmysql
Ver 14.14 Distrib 5.6.25, for linux-glibc2.5 (x86_64) using EditLine wrappermysql
配置檔案預設路徑:vim /etc/my.cnf
配置後重啟:service mysql restart
如果重啟報錯,那麼就是配置檔案裡面加了錯誤配置
Shutting down MySQL.... SUCCESS! Starting MySQL.... ERROR! The server quit without updating PID file (/data/mysql/dbdata/report.pid).
目前簡單的配置資訊,經測試批次處理事務所花的時間比之前的至少快20倍(這裡看頁面提交到成功的時間得出),下面是配置資訊,具體每一項說明請百度一下:
lower_case_table_names=1wait_timeout=2880000
interactive_timeout = 2880000
max_allowed_packet = 200
Mmax_connections = 700
open-files-limit = 10240
key_buffer_size=256
Mback_log = 512
table_open_cache=2048
innodb_file_per_table= 1
innodb_buffer_pool_size = 2048M
innodb_log_file_size = 1024M
innodb_log_buffer_size = 16M
innodb_flush_log_at_trx_commit = 2
innodb_flush_method = 'O_DIRECT'
innodb_max_dirty_pages_pct = 90
使用ulimit -a 或者 ulimit -n 檢視linux當前設定的開啟最大檔案數centos6.5 要想ulimits 的數值永久生效,必須修改配置檔案/etc/security/limits.conf 在該配置檔案中新增* soft nofile 65535 * hard nofile 65535 目前只配置這兩個,重啟發現就生效了。
https://www.cnblogs.com/pangguoping/p/5791432.html
查詢各個引數說明請參考:
下面是網上部落格寫的mysql引數說明
https://www.cnblogs.com/musings/p/5913157.html
下面我們瞭解一下MySQL最佳化的一些基礎,MySQL的最佳化我分為兩個部分
一是伺服器物理硬體的最佳化,二是MySQL自身(my.cnf)的最佳化。
一、伺服器硬體對MySQL效能的影響
① 磁碟尋道能力(磁碟I/O),以目前高轉速SCSI硬碟(7200轉/秒)為例,這種硬碟理論上每秒尋道7200次,這是物理特性決定的,沒有辦法改變。 MySQL每秒鐘都在進行大量、複雜的查詢操作,對磁碟的讀寫量可想而知。所以,通常認為磁碟I/O是制約MySQL效能的最大因素之一,對於日均訪問量 在100萬PV以上的Discuz!論壇,由於磁碟I/O的制約,MySQL的效能會非常低下!解決這一制約因素可以考慮以下幾種解決方案: 使用RAID-0+1磁碟陣列,注意不要嘗試使用RAID-5,MySQL在RAID-5磁碟陣列上的效率不會像你期待的那樣快。
②CPU 對於MySQL應用,推薦使用S.M.P.架構的多路對稱CPU,例如:可以使用兩顆Intel Xeon 3.6GHz的CPU,現在我較推薦用4U的伺服器來專門做資料庫伺服器,不僅僅是針對於mysql。
③實體記憶體對於一臺使用MySQL的Database Server來說,伺服器記憶體建議不要小於2GB,推薦使用4GB以上的實體記憶體,不過記憶體對於現在的伺服器而言可以說是一個可以忽略的問題,工作中遇到了高階伺服器基本上記憶體都超過了16G。
下面,我們根據以上硬體配置結合一份已經最佳化好的my.cnf進行說明:
#vim /etc/my.cnf以下只列出my.cnf檔案中[mysqld]段落中的內容,其他段落內容對MySQL執行效能影響甚微,因而姑且忽略。
[mysqld]
port = 3306serverid = 1
socket = /tmp/mysql.sockskip-locking#避免MySQL的外部鎖定,減少出錯機率增強穩定性。
skip-name-resolve#禁止MySQL對外部連線進行DNS解析,使用這一選項可以消除MySQL進行DNS解析的時間。但需要注意,如果開啟該選項,則所有遠端主機連線授權都要使用IP地址方式,否則MySQL將無法正常處理連線請求!
thread_stack = 256K
table_cache = 128K
table_cache = 512
thread_cache_size = 64
query_cache_size = 64M# 指定MySQL查詢緩衝區的大小。可以透過在MySQL控制檯觀察,如果Qcache_lowmem_prunes的值非常大,則表明經常出現緩衝不夠的 情況;如果Qcache_hits的值非常大,則表明查詢緩衝使用非常頻繁,如果該值較小反而會影響效率,那麼可以考慮不用查詢緩 衝;Qcache_free_blocks,如果該值非常大,則表明緩衝區中碎片很多。
max_connect_errors = 10000000
wait_timeout = 10#指定一個請求的最大連線時間,對於4GB左右記憶體的伺服器可以設定為5-10。
thread_concurrency = 8#該引數取值為伺服器邏輯CPU數量*2,在本例中,伺服器有2顆物理CPU,而每顆物理CPU又支援H.T超執行緒,所以實際取值為4*2=8skip-networking#開啟該選項可以徹底關閉MySQL的TCP/IP連線方式,如果WEB伺服器是以遠端連線的方式訪問MySQL資料庫伺服器則不要開啟該選項!否則將無法正常連線!
innodb_flush_log_at_trx_commit=1#設定為0就是等到innodb_log_buffer_size列隊滿後再統一儲存,預設為1
innodb_thread_concurrency=8#你的伺服器CPU有幾個就設定為幾,建議用預設一般為8
key_buffer_size=256M#預設為218,調到128最佳
tmp_table_size=64M#預設為16M,調到64-256最佳
read_buffer_size=4M#預設為64K
read_rnd_buffer_size=16M#預設為256K
sort_buffer_size=32M#預設為256K
thread_cache_size=120#預設為60
query_cache_size=32M 如果從資料庫平臺應用出發,我還是會首選myisam. PS:可能有人會說你myisam無法抗太多寫操作,但是我可以透過架構來彌補,說個我現有用的資料庫平臺容量:主從資料總量在幾百T以上,每天十多億 pv的動態頁面,還有幾個大專案是透過資料介面方式呼叫未算進pv總數,(其中包括一個大專案因為初期memcached沒部署,導致單臺資料庫每天處理 9千萬的查詢)。而我的整體資料庫伺服器平均負載都在0.5-1左右。
MyISAM和InnoDB最佳化:
key_buffer_size – 這對MyISAM表來說非常重要。如果只是使用MyISAM表,可以把它設定為可用記憶體的 30-40%。合理的值取決於索引大小、資料量以及負載 — 記住,MyISAM表會使用作業系統的快取來快取資料,因此需要留出部分記憶體給它們,很多情況下資料比索引大多了。儘管如此,需要總是檢查是否所有的 key_buffer 都被利用了 — .MYI 檔案只有 1GB,而 key_buffer 卻設定為 4GB 的情況是非常少的。這麼做太浪費了。如果你很少使用MyISAM表,那麼也保留低於 16-32MB 的 key_buffer_size 以適應給予磁碟的臨時表索引所需。
innodb_buffer_pool_size – 這對Innodb表來說非常重要。Innodb相比MyISAM表對緩衝更為敏感。MyISAM可以在預設的 key_buffer_size 設定下執行的可以,然而Innodb在預設的 innodb_buffer_pool_size 設定下卻跟蝸牛似的。由於Innodb把資料和索引都快取起來,無需留給作業系統太多的記憶體,因此如果只需要用Innodb的話則可以設定它高達 70-80% 的可用記憶體。一些應用於 key_buffer 的規則有 — 如果你的資料量不大,並且不會暴增,那麼無需把 innodb_buffer_pool_size 設定的太大了。
innodb_additional_pool_size – 這個選項對效能影響並不太多,至少在有差不多足夠記憶體可分配的作業系統上是這樣。不過如果你仍然想設定為 20MB(或者更大),因此就需要看一下Innodb其他需要分配的記憶體有多少。
innodb_log_file_size 在高寫入負載尤其是大資料集的情況下很重要。這個值越大則效能相對越高,但是要注意到可能會增加恢復時間。我經常設定為 64-512MB,跟據伺服器大小而異。 innodb_log_buffer_size 默 認的設定在中等強度寫入負載以及較短事務的情況下,伺服器效能還可 以。如果存在更新操作峰值或者負載較大,就應該考慮加大它的值了。如果它的值設定太高了,可能會浪費記憶體 — 它每秒都會重新整理一次,因此無需設定超過1秒所需的記憶體空間。通常 8-16MB 就足夠了。越小的系統它的值越小。
innodb_flush_logs_at_trx_commit 是否為Innodb比MyISAM慢1000倍而頭大?看來也許你忘了修改這個引數了。預設值是 1,這意味著每次提交的更新事務(或者每個事務之外的語句)都會重新整理到磁碟中,而這相當耗費資源,尤其是沒有電池備用快取時。很多應用程式,尤其是從 MyISAM轉變過來的那些,把它的值設定為 2 就可以了,也就是不把日誌重新整理到磁碟上,而只重新整理到作業系統的快取上。日誌仍然會每秒重新整理到磁碟中去,因此通常不會丟失每秒1-2次更新的消耗。如果設定 為 0 就快很多了,不過也相對不安全了 — MySQL伺服器崩潰時就會丟失一些事務。設定為 2 指揮丟失重新整理到作業系統快取的那部分事務。
table_cache — 開啟一個表的開銷可能很大。例如MyISAM把MYI檔案頭標誌該表正在使用中。你肯定不希望這種操作太頻繁,所以通常要加大快取數量,使得足以最大限度 地快取開啟的表。它需要用到作業系統的資源以及記憶體,對當前的硬體配置來說當然不是什麼問題了。如果你有200多個表的話,那麼設定為 1024 也許比較合適(每個執行緒都需要開啟表),如果連線數比較大那麼就加大它的值。我曾經見過設定為 100,000 的情況。
thread_cache — 執行緒的建立和銷燬的開銷可能很大,因為每個執行緒的連線/斷開都需要。我通常至少設定為 16。如果應用程式中有大量的跳躍併發連線並且 Threads_Created 的值也比較大,那麼我就會加大它的值。它的目的是在通常的操作中無需建立新執行緒。
query_cache — 如果你的應用程式有大量讀,而且沒有應用程式級別的快取,那麼這很有用。不要把它設定太大了,因為想要維護它也需要不少開銷,這會導致MySQL變慢。通 常設定為 32-512Mb。設定完之後最好是跟蹤一段時間,檢視是否執行良好。在一定的負載壓力下,如果快取命中率太低了,就啟用它。 sort_buffer_size –如果你只有一些簡單的查詢,那麼就無需增加它的值了,儘管你有 64GB 的記憶體。搞不好也許會降低效能。
轉自:https://blog.csdn.net/cuker919/article/details/80610314
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/9522838/viewspace-2641765/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- mysql 高併發 select update 併發更新問題解決方案MySql
- 高併發中nginx較優的配置Nginx
- PHP利用Mysql鎖解決高併發PHPMySql
- 高併發mysql update操作必定失敗MySql
- MySQL 配置InnoDB的併發執行緒MySql執行緒
- 高併發快取架構實戰和最佳化快取架構
- [分散式][高併發]高併發架構分散式架構
- Mysql高階最佳化(一)MySql
- 高併發(鎖)
- OpenResty高併發REST
- 什麼是高併發,怎麼解決高併發
- mysql併發控制MySql
- Mysql核心技術:用NOSql給高併發系統加速MySql
- Java 高併發思路Java
- 高併發技術
- 高併發和 keepalived
- Go 高階併發Go
- 高併發架構架構
- MySQL效能最佳化盲區(高併發情況下,事務內的資料先更新還是先查詢?)MySql
- 併發數、併發以及高併發分別是什麼意思?
- MySQL 併發處理MySql
- mysql 併發複製MySql
- Redis-高併發篇Redis
- Redis如何防止高併發?Redis
- 高併發優化方向優化
- 高併發葵花寶典
- Python 如果做到高併發?Python
- 搭建高併發、高可用的系統
- MySQL 配置索引頁的合併閾值MySql索引
- 【高併發】高併發環境下如何優化Tomcat效能?看完我懂了!優化Tomcat
- MySQL事務與併發MySql
- (四)Java高併發秒殺API之高併發優化JavaAPI優化
- MHA+MySQL主從配置實現MySQL高可用MySql
- MySQL派生表合併最佳化的原理和實現MySql
- 如何設計高併發介面?
- Golang Channel 高併發的初始Golang
- 高併發設計筆記筆記
- 分析如何支撐高併發?