在nginx中使用proxy protocol協議

flydean發表於2022-06-13
NginxProtocol協議

簡介

我們已經介紹了haproxy提出的proxy protocol協議，通過proxy protocol協議，伺服器端可以獲得客戶端的真實IP地址和埠，從而可以進行一些非常有意義的操作。

為什麼獲得客戶端的真實IP地址會非常有意義呢？

考慮一個藏在proxy背後的資料庫，如果有多個客戶端通過proxy進行資料庫的連線，事實上因為都是通過代理進行連線，所以資料庫中的所有的操作都是proxy伺服器的IP地址，這在對資料庫的效能監控和優化是不利的，因為我們不知道真實異常的伺服器IP地址。

這種情況下就需要用到proxy protocol協議,讓資料庫可以反映出真實客戶端的IP地址，從而便於資料庫的監控和問題定位。

事實上，資料庫只是一個特定的例子，我們在很多其他的情況下也可能需要知道客戶端真實IP的情況。

以現在最流行的http伺服器和代理伺服器nginx為例，我們來看一下如何在nginx中配置proxy protocol。

proxy protocol在nginx中應用

我們知道nginx是一個web伺服器和代理伺服器，它一般工作在proxy server或者負載均衡軟體（Haproxy,Amazon Elastic Load Balancer (ELB)的後面。

客戶端首先請求proxy server或者LSB負載均衡軟體，然後再到nginx進行真實的web訪問。

因為經過了多層軟體，所以客戶端的一些資訊比如ip地址，埠號等可能就會被隱藏，這對於我們問題分析，資料統計都是不利的。因為對於nginx來說，我們希望能夠獲得真實的客戶端IP地址，這樣才能獲取真實的請求環境。

這種情況下就需要用到PROXY protocol了。

如果前面所說的proxy或者LSB都實現了PROXY protocol協議的話，不管是HTTP, SSL, HTTP/2, SPDY, WebSocket 還是 TCP協議，nginx都可以拿到客戶端的原始IP地址，從而根據原始IP地址進行一些特殊的操作，比如遮蔽惡意IP的訪問，根據IP不同展示不同的語言或者頁面，或者更加簡單的日誌記錄和統計等，都非常有效。

當然，如果想要支援PROXY protocol，對nginx的版本也是有要求的，具體版本需求如下：

  • 想要支援PROXY protocol v2，需要NGINX Plus R16或者NGINX Open Source 1.13.11。
  • 想要支援ROXY protocol for HTTP,需要NGINX Plus R3或者NGINX Open Source 1.5.12。
  • 想要支援TCP client‑side PROXY protocol，需要NGINX Plus R7或者 NGINX Open Source 1.9.3。
  • 想要支援PROXY protocol for TCP，需要NGINX Plus R11 或者 NGINX Open Source 1.11.4。

在nginx中可以通過下面的變數來獲得對應的客戶端資訊，具體而言如下所示：

$proxy_protocol_addr和$proxy_protocol_port 分別表示的是原始客戶端的IP地址和埠號。

$remote_addr 和 $remote_port表示的是load balancer的的IP地址和埠。

如果你使用了RealIP擴充套件模組，那麼這個模組會重寫$remote_addr 和 $remote_port這兩個值，將其替換成原始客戶端的IP地址和埠號。

然後使用$realip_remote_addr 和 $realip_remote_port來表示load balancer的的IP地址和埠。

在RealIP擴充套件模組中，$proxy_protocol_addr和$proxy_protocol_port 表示的含義不變，還是原始客戶端的IP地址和埠號。

在nginx中配置使用proxy protocol

上面我們提到了nginx中proxy protocol的基本應用，下面來講一下如何在nginx中進行具體的配置。

在nginx中啟用proxy protocol

如果你的nginx已經是支援proxy protocol的版本，那麼啟用proxy protocol非常簡單，只需要在server中的listen中新增proxy_protocol即可，如下所示：

http {
    #...
    server {
        listen 80   proxy_protocol;
        listen 443  ssl proxy_protocol;
        #...
    }
}
   
stream {
    #...
    server {
        listen 112233 proxy_protocol;
        #...
    }
}

可能大家比較熟悉的是http block，這表示的是nginx對http/https的支援。stream模組可能大家比較陌生，這是nginx提供的對tcp/udp協議的支援。

通過上面的配置，nginx可以實現在tcp/udp協議和http/https協議同時支援proxy protocol。

使用Real‑IP modules

Real‑IP modules是nginx自帶的一個模組，可以通過下面的命令來檢視nginx是否有安裝real-ip模組：

nginx -V 2>&1 | grep -- 'http_realip_module'
nginx -V 2>&1 | grep -- 'stream_realip_module'

如果你當前使用的版本沒有real ip,也不要急，這時候你可能需要從原始碼進行編譯。

在編譯的過程中，我們需要執行一個configure命令，在這個configure命令中可以指定要開啟的功能，比如stream或者http_ssl_module：

$ ./configure
--sbin-path=/usr/local/nginx/nginx
--conf-path=/usr/local/nginx/nginx.conf
--pid-path=/usr/local/nginx/nginx.pid
--with-pcre=../pcre-8.44
--with-zlib=../zlib-1.2.11
--with-http_ssl_module
--with-stream
--with-mail

如果要開啟real-ip功能，則可以新增：

--with-http_realip_module

如果nginx是執行在SLB或者proxy之後的，那麼可以通過set_real_ip_from命令來指定代理或者負載均衡伺服器的IP範圍，如下所示：

server {
    #...
    set_real_ip_from 192.168.1.0/24;
   #...
}

然後我們需要將proxy或者SLB的IP地址替換成為真實客戶端的地址，那麼可以這樣使用：

http {
    server {
        #...
        real_ip_header proxy_protocol;
      }
}

請求轉發

不管是http還是stream block，都可能遇到請求向後續的upstream進行轉發的情況，對於upstream來說，他們希望收到的是真實客戶端IP地址，而不是proxy或者slb的地址，那麼可以通過下面的設定來解決：

http {
    proxy_set_header X-Real-IP       $proxy_protocol_addr;
    proxy_set_header X-Forwarded-For $proxy_protocol_addr;
}
stream {
    server {
        listen 12345;
        proxy_pass example.com:12345;
        proxy_protocol on;
    }
}

http和stream的設定方式是不同的。

日誌記錄

日誌是一個非常重要的功能，對於定位問題，執行資料統計分析都非常有用，當然我們需要的是真實的客戶端IP地址。

我們可以通過使用變數$proxy_protocol_addr在http和stream block中記錄對應的日誌，如下所示：

http {
    #...
    log_format combined '$proxy_protocol_addr - $remote_user [$time_local] '
                        '"$request" $status $body_bytes_sent '
                        '"$http_referer" "$http_user_agent"';
}
stream {
    #...
    log_format basic '$proxy_protocol_addr - $remote_user [$time_local] '
                      '$protocol $status $bytes_sent $bytes_received '
                      '$session_time';
}

總結

通過上面的設定，nginx已經可以使用proxoy protocol了，這會讓我們的後續分析工作變得更加輕鬆。

更多內容請參考 http://www.flydean.com/02-nginx-proxy-protocol/

最通俗的解讀，最深刻的乾貨，最簡潔的教程，眾多你不

歡迎關注我的公眾號:「程式那些事」,懂技術，更懂你！

相關文章