Nginx 如何自定義變數?

原少子楊發表於2020-06-21

之前的兩篇文章 Nginx 變數介紹以及利用 Nginx 變數做防盜鏈 講的是 Nginx 有哪些變數以及一個常見的應用。那麼如此靈活的 Nginx 怎麼能不支援自定義變數呢,今天的文章就來說一下自定義變數的幾個模組以及 Nginx 的 keepalive 特性。

通過對映新變數提供更多的可能性:map 模組

  • 功能:基於已有變數,使用類似 switch {case: … default: …} 的語法建立新變數,為其他基於變數值實現功能的模組提供更多的可能性
  • 模組:ngx_http_map_module 預設編譯進 Nginx,通過 --without-http_map_module 禁用

指令

Syntax: map string $variable { ... }
Default: —
Context: http

Syntax: map_hash_bucket_size size;
Default: map_hash_bucket_size 32|64|128; 
Context: http

Syntax: map_hash_max_size size;
Default: map_hash_max_size 2048; 
Context: http

我們主要看一下 map string $variable { ... } 這個指令。所謂類似 switch case 的語法是指,string 的值可以有多個,可以根據 string 值的不同,來給 $variable 賦不同的值。

規則

  • 已有變數:string 需要是已有的變數,可以分為下面這三種情況
    • 字串
    • 一個或者多個變數
    • 變數與字串的組合
  • case 規則:{...} 內的匹配規則需要遵循以下規則,尤其是要注意當使用 hostnames 指令時,與 server name 的匹配規則是一致的,可以看之前的文章 Nginx 的配置指令
    • 字串嚴格匹配
    • 使用 hostnames 指令,可以對域名使用字首 * 泛域名匹配
    • ~ 和 ~* 正規表示式匹配,後者忽略大小寫
  • default 規則
    • 沒有匹配到任何規則時,使用 default
    • 確實 default 時,返回空字串給新變數
  • 其他
    • 使用 include 語法提升可讀性
    • 使用 volatile 禁止變數值快取

大家看到上面這些規則可能都有些暈,廢話不多說,直接來看一個實戰配置檔案就懂了。

實戰

這裡我們有一個配置檔案,在這個檔案裡面我們定義了兩個 map 塊,分別配置了兩個變數,$name 和 $mobile,$name 中包含 hostnames 指令。

map $http_host $name {
    hostnames;

    default       0;

    ~map\.ziyang\w+\.org.cn 1;
    *.ziyang.org.cn   2;
    map.ziyang.com   3;
    map.ziyang.*    4;
}

map $http_user_agent $mobile {
    default       0;
    "~Opera Mini" 1;
}

server {
	listen 10001;
	default_type text/plain;
	location /{
		return 200 '$name:$mobile\n';
	}
}

下面看一下實際的請求:

➜  test_nginx curl -H "Host: map.ziyang.org.cn" 127.0.0.1:10001
2:0

為什麼會返回 2:0 呢?我們來看一下匹配順序。

map.ziyang.org.cn 有三個規則可以生效,分別是:

  • ~map.ziyang\w+.org.cn 1;
  • *.ziyang.org.cn 2;
  • map.ziyang.* 4;

而泛域名是優先於正規表示式的,* 在前的泛域名優先於在後面的泛域名,因此最終匹配到的就是:

  • *.ziyang.org.cn 2;

而第二個變數 $mobile 自然走的是 default 規則,不用多說。

這就是 map 模組的作用,大家可以多嘗試一下。

下面再來看一個與 map 模組有點類似的 split_clients 模組,這個模組也是通過生成新的變數來完成 AB 測試功能的,它可以按照變數的值,按照百分比的方式,生成新的變數。

實現 AB 測試:split_clients 模組

  • 功能:基於已有變數建立新變數,為其他 AB 測試提供更多的可能性
    • 對已有變數的值執行 MurmurHash2 演算法,得到 32 位整形雜湊數字,記為 hash
    • 32 位無符號整形的最大數字 2^32-1,記為 max
    • 雜湊數字與最大數字相除,hash/max,可以得到百分比 percent
    • 配置指令中指示了各個百分比構成的範圍,如 0-1%,1%-5% 等,及範圍對應的值
    • 當 percent 落在哪個範圍裡,新變數的值就對應著其後的引數
  • 模組:ngx_http_split_clients_module,預設編譯進 Nginx,通過 --without-http_split_clients_module 禁用

規則

  • 已有變數
    • 字串
    • 一個或者多個變數
    • 變數與字串的組合
  • case 規則:
    • xx.xx%,支援小數點後 2 位,所有項的百分比相加不能超過 100%
    • *,由它匹配剩餘的百分比(100% 減去以上所有項相加的百分比)

指令

Syntax: split_clients string $variable { ... }
Default: —
Context: http

split_clients 的指令與 map 是非常相似的,可以看一下前面的介紹,這裡不再贅述了。

下面這個配置,來看下有沒有啥問題:

split_clients "${http_testcli}" $variant {
    0.51% .one;
    20.0% .two;
    50.5% .three;
    40% .four;
    * "";
}

細心的同學可能已經發現了,所有的百分比相加已經超過了 100%,所以 Nginx 直接會丟擲一個錯誤,禁止執行。

➜  test_nginx ./sbin/nginx -s reload
nginx: [emerg] percent total is greater than 100% in /Users/mtdp/myproject/nginx/test_nginx/conf/example/17.map.conf:31

然後將 40% .four; 這一行給遮蔽掉再試試看:

➜  test_nginx curl -H "testcli: split_clients.ziyang.com" --resolve "split_clients.ziyang.com:80:127.0.0.1" http://split_clients.ziyang.com
ABtestfile.three

正常執行。

geo 模組

geo 模組與前面兩個模組也很相似,不同之處在於,這個模組是基於 IP 地址或者子網掩碼這樣的變數值來生成新的變數的。

  • 功能:根據 IP 地址建立新變數

  • 模組:ngx_http_geo_module,預設編譯進 Nginx,通過 --without-http_geo_module 禁用

  • 指令

Syntax: geo [$address] $variable { ... }
Default: —
Context: http

規則

  • 如果 geo 指令後不輸入 $address,那麼預設使用 $remote_addr 變數作為 IP 地址

  • {} 內的指令匹配:優先最長匹配

    • 通過 IP 地址及子網掩碼的方式,定義 IP 範圍,當 IP 地址在範圍內時新變數使用其後的引數值

    • default 指定了當以上範圍都未匹配上時,新變數的預設值

    • 通過 proxy 指令指定可信地址(參考 realip 模組),此時 remote_addr 的值為 X-Forwarded-For 頭部值中最後一個 IP 地址

    • proxy_recursive 允許迴圈地址搜尋

    • include,優化可讀性

    • delete 刪除指定網路

geo $country {
default ZZ;
#include conf/geo.conf;
#proxy 172.18.144.211;
127.0.0.0/24 US;
127.0.0.1/32 RU;
10.1.0.0/16 RU;
192.168.1.0/24 UK;
}


問題:以下命令執行時,變數 country 的值各為多少?(proxy 實際上為客戶端地址,這裡設定為本機的區域網地址即可,我這裡是 172.18.144.211)

curl -H 'X-Forwarded-For: 10.1.0.0,127.0.0.2' geo.ziyang.com
curl -H 'X-Forwarded-For: 10.1.0.0,127.0.0.1' geo.ziyang.com
curl -H 'X-Forwarded-For: 10.1.0.0,127.0.0.1,1.2.3.4' geo.ziyang.com


結果如下:

```shell
➜  test_nginx curl -H 'X-Forwarded-For: 10.1.0.0,127.0.0.2' geo.ziyang.com
US
➜  test_nginx curl -H 'X-Forwarded-For: 10.1.0.0,127.0.0.1' geo.ziyang.com
RU
➜  test_nginx curl -H 'X-Forwarded-For: 10.1.0.0,127.0.0.1,1.2.3.4' geo.ziyang.com
ZZ

這裡可以看出來,匹配規則實際上是遵循最長匹配的規則的。

geoip 模組

geoip 模組可以根據 IP 地址生成對應的地址變數,用法與前面的也都類似,Nginx 是基於 MaxMind 資料庫來生成對應的地址的。

  • 功能:根據 IP 地址建立新變數
  • 模組:ngx_http_geoip_module,預設未編譯進 Nginx,通過 --with-http_geoip_module 禁用

使用這個模組是需要安裝 MaxMind 庫的,安裝步驟如下:

  • 安裝 MaxMind 裡 geoip 的 C 開發庫(https://dev.maxmind.com/geoip/legacy/downloadable/
  • 編譯 Nginx 時帶上 --with-http_geoip_module 引數
  • 下載 MaxMind 中的二進位制地址庫,這個地址庫是需要在指令中指定對應的地址的
  • 使用 geoip_country 或者 geoip_city 指令配置好 nginx.conf
  • 執行或者升級 Nginx

geoip_country 指令提供的變數

指令

Syntax: geoip_country file; # 指定國家類的地址檔案
Default: —
Context: http

Syntax: geoip_proxy address | CIDR;
Default: —
Context: http

變數

  • $geoip_country_code:兩個字母的國家程式碼,比如 CN 或者 US
  • $geoip_country_code3:三個字母的國家程式碼,比如 CHN 或者 USA
  • $geoip_country_name:國家名稱,例如 “China”, “United States”

geoip_city 指令提供的變數

指令

Syntax: geoip_city file;
Default: —
Context: http

變數

  • $geoip_latitude:緯度
  • $geoip_longitude:經度
  • $geoip_city_continent_code:位於全球哪個洲,例如 EU 或 AS
  • 與 $geoip_country 指令生成的變數重疊
    • $geoip_country_code:兩個字母的國家程式碼,比如 CN 或者 US
    • $geoip_country_code3:三個字母的國家程式碼,比如 CHN 或者 USA
    • $geoip_country_name:國家名稱,例如 “China”, “United States”
  • $geoip_region:洲或者省的編碼,例如 02
  • $geoip_region_name:洲或者省的名稱,例如 Zhejiang 或者 Saint Petersburg
  • $geoip_city:城市名
  • $geoip_postal_code:郵編號
  • $geoip_area_code:僅美國使用的郵編號,例如 408
  • $geoip_dma_code:僅美國使用的 DMA 編號,例如 807

keepalive 模組

前面說的都是 Nginx 的變數相關的內容,其實 Nginx 還有一個很具有特色的模組,那就是 keepalive 模組,由於內容不是很多,所以我就直接寫到這篇文章裡面了,單寫一篇顯得內容不夠哈。

這裡指的是 HTTP 的 keepalive,TCP 也有 keepalive,後面會說。

而且是對客戶端的 keepalive,不是對上游伺服器的。

  • 功能:多個 HTTP 請求通過複用 TCP 連線,可以實現以下功能:

    • 減少握手次數
    • 通過減少併發連線數減少了伺服器資源消耗
    • 降低 TCP 擁塞控制的影響,保證滑動視窗維持在一個最優的大小
  • Connection 頭部

    • close:表示請求處理完就關閉連線
    • keepalive:表示複用連線處理下一條請求
  • Keepalive 頭部:timeout=n,單位是秒,表示連線至少保持 n 秒

指令

對客戶端行為控制的指令:

Syntax: keepalive_disable none | browser ...;
Default: keepalive_disable msie6; 
Context: http, server, location

Syntax: keepalive_requests number;
Default: keepalive_requests 100; 
Context: http, server, location

Syntax: keepalive_timeout timeout [header_timeout];
Default: keepalive_timeout 75s; 
Context: http, server, location
  • keepalive_disable 設定為 none 表示對所有瀏覽器啟用 keepalive,msie6 表示在老版本 MSIE 上禁用 keepalive
  • keepalive_requests 設定允許保持 keepalive 的請求的數量
  • keepalive_timeout 表示超時時間

好了,關於 Nginx 的模組介紹就已經全部介紹完了,有興趣的同學可以去翻我前面的系列文章。當然還有一部分重要的內容還沒有介紹,那就是關於 Nginx 的反向代理和負載均衡部分,這塊我們們單獨抽出來說,彆著急,馬上乾貨就出來。


本文首發於我的個人部落格:iziyang.github.io,所有配置檔案我已經放在了 Nginx 配置檔案,大家可以自取。

相關文章