Varnish – 高效能http加速器
Varnish – 高效能http加速器
Varnish是一款高效能且開源的反向代理伺服器和http加速器。與傳統的Squid相比,Varnish具有效能更高、速度更快、管理更方便等諸多優點。作者Poul-Henning Kamp是FreeBSD的核心開發者之一。Varnish採用全新的軟體體系架構,和現在的硬體提交配合緊密。在1975年時,儲存媒介只有兩種:記憶體與硬碟。但現在計算 機系統的記憶體除了主存外,還包括了cpu內的L1、L2,甚至有L3快取。硬碟上也有自己的快取裝置,因此squid cache自行處理物件替換的架構不可能得知這些情況而做到最佳化,但作業系統可以得知這些情況,所以這部份的工作應該交給作業系統處理,這就是 Varnish cache設計架構。
挪威最大的線上報紙 Verdens Gang () 使用3臺Varnish代替了原來的12臺squid,效能居然比以前更好,這是Varnish最成功的應用案例。
Varnish特點:
基於記憶體進行快取,重啟後資料將消失
利用虛擬記憶體方式,I/O效能好
支援設定0~60秒的精確快取時間
VCL配置管理比較靈活
32位機器上快取檔案大小最大為2G
具有強大的管理功能,例如top、stat、admin、list等
狀態機設定巧妙,結構清晰
利用二叉堆管理快取檔案,可達到積極刪除目的
Varnish與Squid的對比
Squid是一個高效能的代理快取伺服器,它和varnish之間有諸多的異同點,如下:
相同點:
1.都是一個反向代理伺服器
2.都是開源軟體
不同點,也是Varnish的優點:
1.Varnish的穩定性很高,兩者在完成相同負荷的工作時,Squid伺服器發生故障的機率要高於Varnish,因為使用Squid要經常重啟。
2.Varnish訪問速度更快,Varnish採用了“Visual Page Cache”技術,所有快取資料都直接從記憶體讀取,而squid是從硬碟讀取,因而Varnish在訪問速度方面會更快。
3.Varnish可以支援更多的併發連線,因為Varnish的TCP連線釋放要比Squid快。因而在高併發連線情況下可以支援更多TCP連線。
4.Varnish可以透過管理埠,使用正規表示式批次的清除部分快取,而Squid是做不到的。
5.squid屬於是單程式使用單核CPU,但Varnish是透過fork形式開啟多程式來做處理,所以是合理的使用所有核來處理相應的請求。
當然,與傳統的Squid相比,Varnish也是有缺點的,如下:
1.varnish程式一旦掛起、崩潰或者重啟,快取資料都會從記憶體中完全釋放,此時所有請求都會傳送到後端伺服器,在高併發情況下,會給後端伺服器造成很大壓力。
2.在varnish使用中如果單個url的請求透過HA/F5(負載均衡)每次請求不同的varnish伺服器中,被請求varnish伺服器都會被穿透到後端,而且同樣的請求會在多臺伺服器上快取,也會造成varnish的快取的資源浪費,也會造成效能下降。
解決方案:
1.綜上所述在訪問量很大的情況下推薦使用varnish的記憶體快取方式啟動,而且後面需要跟多臺squid伺服器。主要為了防止前面的varnish服務、伺服器被重啟的情況下,前期肯定會有很多的穿透這樣squid可以擔當第二層cache,而且也彌補了varnish快取在記憶體中重啟都會釋放的問題。
2.這樣的問題可以在負載均衡上做url雜湊,讓單個url請求固定請求到一臺varnish伺服器上,可以解決該問題。
varnish的工作流程
1、程式之間通訊
varnish啟動或有2個程式 master(management)程式和child(worker)程式。master讀入儲存配置命令,進行初始化,然後fork,監控child。child則分配執行緒進行cache工作,child還會做管理執行緒和生成很多worker執行緒。
child程式主執行緒初始化過程中,將儲存大檔案整個載入到記憶體中,如果該檔案超出系統的虛擬記憶體,則會減少原來配置mmap大小,然後繼續載入,這時候建立並初始化空閒儲存結構體,放在儲存管理的struct中,等待分配。
接著varnish某個負責介面新http連線的執行緒開始等待使用者,如果有新的http連線,但是這個執行緒只負責接收,然後喚醒等待執行緒池中的work執行緒,進行請求處理。
worker執行緒讀入uri後,將會查詢已有的object,命中直接返回,沒有命中,則會從後端伺服器中取出來,放到快取中。如果快取已滿,會根據LRU演算法,釋放舊的object。對於釋放快取,有一個超時執行緒會檢測快取中所有object的生命週期,如果快取過期(ttl),則刪除,釋放相應的儲存記憶體。
2、配置檔案各結構之間通訊
Varnish安裝
wget tar xzf pcre-8.33.tar.gz cd pcre-8.33 ./configure make && make install cd ../
varnish-3.0.4報錯如下:
varnishadm.c:48:33: error: editline/readline.h: No such file or directory varnishadm.c: In function 'cli_write': varnishadm.c:76: warning: implicit declaration of function 'rl_callback_handler_remove' varnishadm.c:76: warning: nested extern declaration of 'rl_callback_handler_remove' varnishadm.c: In function 'send_line': varnishadm.c:179: warning: implicit declaration of function 'add_history' varnishadm.c:179: warning: nested extern declaration of 'add_history' varnishadm.c: In function 'varnishadm_completion': varnishadm.c:216: warning: implicit declaration of function 'rl_completion_matches' varnishadm.c:216: warning: nested extern declaration of 'rl_completion_matches' varnishadm.c:216: warning: assignment makes pointer from integer without a cast varnishadm.c: In function 'pass': varnishadm.c:233: error: 'rl_already_prompted' undeclared (first use in this function) varnishadm.c:233: error: (Each undeclared identifier is reported only once varnishadm.c:233: error: for each function it appears in.) varnishadm.c:235: warning: implicit declaration of function 'rl_callback_handler_install' varnishadm.c:235: warning: nested extern declaration of 'rl_callback_handler_install' varnishadm.c:239: error: 'rl_attempted_completion_function' undeclared (first use in this function) varnishadm.c:300: warning: implicit declaration of function 'rl_forced_update_display' varnishadm.c:300: warning: nested extern declaration of 'rl_forced_update_display' varnishadm.c:303: warning: implicit declaration of function 'rl_callback_read_char' varnishadm.c:303: warning: nested extern declaration of 'rl_callback_read_char' make[3]: *** [varnishadm-varnishadm.o] Error 1 make[3]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin/varnishadm' make[2]: *** [all-recursive] Error 1 make[2]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin' make[1]: *** [all-recursive] Error 1 make[1]: Leaving directory `/root/lnmp/src/varnish-3.0.4' make: *** [all] Error 2
報錯沒找到解決方法,選varnish-3.0.3
wget tar xzf varnish-3.0.3.tar.gz cd varnish-3.0.3 export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig ./configure --prefix=/usr/local/varnish --enable-debugging-symbols --enable-developer-warnings --enable-dependency-tracking --with-jemalloc make && make install /usr/bin/install -m 755 ./redhat/varnish.initrc /etc/init.d/varnish /usr/bin/install -m 644 ./redhat/varnish.sysconfig /etc/sysconfig/varnish /usr/bin/install -m 755 ./redhat/varnish_reload_vcl /usr/local/varnish/bin useradd -M -s /sbin/nologin varnish ln -s /usr/local/varnish/sbin/varnishd /usr/sbin/ ln -s /usr/local/varnish/bin/varnish_reload_vcl /usr/bin/ ln -s /usr/local/varnish/bin/varnishadm /usr/bin/ chkconfig --add varnish chkconfig varnish on
生成varnish管理秘鑰:
uuidgen > /usr/local/varnish/etc/varnish/secret chmod 644 /usr/local/varnish/etc/varnish/secret
修改varnish啟動配置:
sed -i "s@^VARNISH_VCL_CONF=/etc/varnish/default.vcl@#VARNISH_VCL_CONF=/etc/varnish/default.vcl\nVARNISH_VCL_CONF=/usr/local/varnish/etc/varnish/linuxeye.vcl@" /etc/sysconfig/varnish sed -i "s@^VARNISH_LISTEN_PORT=6081@#VARNISH_LISTEN_PORT=6081\nVARNISH_LISTEN_PORT=80@" /etc/sysconfig/varnish sed -i "s@^VARNISH_SECRET_FILE=/etc/varnish/secret@#VARNISH_SECRET_FILE=/etc/varnish/secret\nVARNISH_SECRET_FILE=/usr/local/varnish/etc/varnish/secret@" /etc/sysconfig/varnish sed -i "s@^VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin@#VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin\nVARNISH_STORAGE_FILE=/usr/local/varnish/var/varnish_storage.bin@" /etc/sysconfig/varnish sed -i "s@^VARNISH_STORAGE_SIZE.*@VARNISH_STORAGE_SIZE=150M@" /etc/sysconfig/varnish sed -i "s@^VARNISH_STORAGE=.*@VARNISH_STORAGE=\"malloc,\${VARNISH_STORAGE_SIZE}\"@" /etc/sysconfig/varnish
假設你的伺服器擁有多顆邏輯處理器,還可以做以下的設定:
/etc/sysconfig/varnish 裡面還可以新增自定義的引數,用”-p 引數“的方式新增,如:
DAEMON_OPTS="-a ${VARNISH_LISTEN_ADDRESS}:${VARNISH_LISTEN_PORT} \ -f ${VARNISH_VCL_CONF} \ -T ${VARNISH_ADMIN_LISTEN_ADDRESS}:${VARNISH_ADMIN_LISTEN_PORT} \ -t ${VARNISH_TTL} \ -w ${VARNISH_MIN_THREADS},${VARNISH_MAX_THREADS},${VARNISH_THREAD_TIMEOUT} \ -u varnish -g varnish \ -S ${VARNISH_SECRET_FILE} \ -s ${VARNISH_STORAGE} \ -p thread_pools=2" #這裡為新增項
Varnish啟動後進入後臺執行,同時返回命令列狀態。需要注意的是,Varnish執行時會同時啟動兩個程式,一個主程式,一個是子程式,如果子程式出現問題,主程式將重新生成一個子程式。
VCL配置
/usr/local/varnish/etc/varnish/linuxeye.vcl
#透過backend定義了一個名稱為webserver的後端主機,“.host”指定後端主機的IP地址或者域名,“.port”指定後端主機的服務埠。 backend webserver { .host = "127.0.0.1"; .port = "8080"; } #呼叫vcl_recv開始 sub vcl_recv { if (req.restarts == 0) { if (req.http.x-forwarded-for) { set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip; } else { set req.http.X-Forwarded-For = client.ip; } } #如果請求的型別不是GET、HEAD、PUT、POST、TRACE、OPTIONS、DELETE時,進入pipe模式。注意這裡是“&&”的關係 if (req.request != "GET" && req.request != "HEAD" && req.request != "PUT" && req.request != "POST" && req.request != "TRACE" && req.request != "OPTIONS" && req.request != "DELETE") { return (pipe); } #如果請求的型別不是GET與HEAD,則進入pass模式 if (req.request != "GET" && req.request != "HEAD") { return (pass); } if (req.http.Authorization || req.http.Cookie) { return (pass); } #對linuxeye.com域名進行快取加速,這是個泛域名的概念,也就是所有以linuxeye.com結尾的域名都進行快取 if (req.http.host ~ "^(.*).linuxeye.com") { set req.backend = webserver; } #對以.jsp、.do、php結尾以及帶有?的URL時,直接從後端伺服器讀取內容 if (req.url ~ "\.(jsp|do|php)($|\?)") { return (pass); } else { return (lookup); } } sub vcl_pipe { return (pipe); } sub vcl_pass { return (pass); } sub vcl_hash { hash_data(req.url); if (req.http.host) { hash_data(req.http.host); } else { hash_data(server.ip); } return (hash); } sub vcl_hit { return (deliver); } sub vcl_miss { return (fetch); } #對於請求型別是GET,並且請求的URL中包含upload,那麼就進行快取,快取的時間是300秒,即5分鐘 sub vcl_fetch { if (req.request == "GET" && req.url ~ "^/upload(.*)$") { set beresp.ttl = 300s; } if (req.request == "GET" && req.url ~ "\.(png|gif|jpg|jpeg|bmp|swf|css|js|html|htm|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|txt)$") { unset beresp.http.set-cookie; set beresp.ttl = 30d; } return (deliver); } #下面是新增一個Header標識,以判斷快取是否命中 sub vcl_deliver { if (obj.hits > 0) { set resp.http.X-Cache = "HIT from demo.linuxeye.com"; } else { set resp.http.X-Cache = "MISS from demo.linuxeye.com"; } return (deliver); } #使用vcl_error可以定製一個錯誤頁面 sub vcl_error { set obj.http.Content-Type = "text/html; charset=utf-8"; set obj.http.Retry-After = "5"; synthetic {" <?xml version="1.0" encoding="utf-8"?> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" " <html> <head> <title>"} + obj.status + " " + obj.response + {"</title> </head> <body> <h1>Error "} + obj.status + " " + obj.response + {"</h1> <p>"} + obj.response + {"</p> <h3>Guru Meditation:</h3> <p>XID: "} + req.xid + {"</p> <hr> <p>Varnish cache server</p> </body> </html> "}; return (deliver); } sub vcl_init { return (ok); } sub vcl_fini { return (ok); }
檢查VCL配置是否正確:
service varnish configtest
或
varnishd -C -f /usr/local/varnish/etc/varnish/linuxeye.vcl
啟動varnish:
service varnish start
檢視varnish狀態:
service varnish status
動態載入VCL配置:
service varnish reload
停止varnish:
service varnish stop
檢視當前varnish監聽的80埠:
# netstat -tpln | grep :80 tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 15249/varnishd tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 19468/nginx tcp 0 0 :::80 :::* LISTEN 15249/varnishd
檢視varnish程式:
# ps -ef | grep varnishd | grep -v grep root 15248 1 0 11:47 ? 00:00:00 /usr/sbin/varnishd -P /var/run/varnish.pid -a :80 -f /usr/local/varnish/etc/varnish/linuxeye.vcl -T 127.0.0.1:6082 -t 120 -w 50,1000,120 -u varnish -g varnish -S /usr/local/varnish/etc/varnish/secret -s malloc,150M varnish 15249 15248 0 11:47 ? 00:00:00 /usr/sbin/varnishd -P /var/run/varnish.pid -a :80 -f /usr/local/varnish/etc/varnish/linuxeye.vcl -T 127.0.0.1:6082 -t 120 -w 50,1000,120 -u varnish -g varnish -S /usr/local/varnish/etc/varnish/secret -s malloc,150M
Varnish訪問日誌
varnishncsa可以使用NCSA通用日誌格式(NCSA Common Log Format)將HTTP請求記錄到日誌檔案.
/usr/bin/install -m 755 ./redhat/varnishncsa.initrc /etc/init.d/varnishncsa chmod +x /etc/init.d/varnishncsa chkconfig varnishncsa on mkdir -p /usr/local/varnish/logs
編輯varnishncsa啟動配置
ln -s /usr/local/varnish/bin/varnishncsa /usr/bin sed -i 's@^logfile.*@logfile="/usr/local/varnish/logs/varnishncsa.log"@' /etc/init.d/varnishncsa
啟動varnishncsa:
service varnishncsa start
使用logrotate輪詢日誌檔案(每天輪詢):
cat > /etc/logrotate.d/varnish << EOF /usr/local/varnish/logs/varnishncsa.log { daily rotate 5 missingok dateext compress notifempty sharedscripts postrotate [ -e /var/run/varnishncsa.pid ] && kill -USR1 \`cat /var/run/varnishncsa.pid\` endscript } EOF
全球可信CA機構
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31483669/viewspace-2685120/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Varnish(二)Varnish4.0安裝與配置
- RubyStack now with Rails 3.2.7 and VarnishAI
- Varnish(一)簡介與原理
- 高效能 HTTP 客戶端 undici 初探HTTP客戶端
- Varnish(三)設定後端主機後端
- haproxy + varnish 實現動靜分離
- 實現更高效能,一起探索Amazon Redshift高階查詢加速器
- Netty實現Http高效能伺服器NettyHTTP伺服器
- nginx: 高效能http和反向代理伺服器NginxHTTP伺服器
- 構建高效能WEB之HTTP首部優化WebHTTP優化
- 使用 Varnish 優化移動端站點優化
- Go使用grpc+http打造高效能微服務GoRPCHTTP微服務
- 映象加速器
- web cache server方案比較:varnish、squid、nginxWebServerUINginx
- 高效能 C++ HTTP 客戶端原理與實現C++HTTP客戶端
- GRPC——高效能基於HTTP/2的RPC框架RPCHTTP框架
- 網易UU加速器 for Mac(網遊加速器)中文版Mac
- 10行C++程式碼實現高效能HTTP服務C++HTTP
- 高效能web建站規則(儘量減少http請求)WebHTTP
- Docker Hub 映象加速器Docker
- aText for Mac(打字加速器)Mac
- docker配置映象加速器Docker
- php+gridfs+varnish+nginx 搭建分散式圖片儲存PHPNginx分散式
- 用於快取http介面內容的gin高效能中介軟體快取HTTP
- 合合TextIn - 大模型加速器大模型
- 加速器之警燈系統
- 使用阿里DOCKER映象加速器加速阿里Docker
- 詳解:PHP加速器配置神器opcachePHPopcache
- Docker配置阿里雲映象加速器Docker阿里
- Docker配置檔案配置映象加速器Docker
- CYarp:力壓frp的C#高效能http內網反代中介軟體FRPC#HTTP內網
- 阿里雲加速器拉取tomcat阿里Tomcat
- 合合資訊大模型“加速器”重磅上線大模型
- 第 19 期 如何開發一個簡單高效能的 http router 及 gorouter 原始碼分析HTTPGo原始碼
- 基於HAProxy的高效能HTTP快取伺服器和RESTful NoSQL快取伺服器HTTP快取伺服器RESTSQL
- 基於HAProxy的高效能HTTP快取伺服器和RESTful NoSQL快取伺服器。HTTP快取伺服器RESTSQL
- 高效能快取伺服器 nuster v1.8.8.1 釋出,支援 HTTP/2,多執行緒快取伺服器HTTP執行緒
- GridGain的資料湖加速器簡介AI