Nginx中如何阻止特定使用者代理（UA）

問題： 我注意到有一些機器人經常訪問我的nginx驅動的網站，並且進行一些攻擊性的掃描，導致消耗掉了我的網路伺服器的大量資源。我一直嘗試著通過使用者代理符串來阻擋這些機器人。我怎樣才能在nginx網路伺服器上阻擋掉特定的使用者代理呢？

現代網際網路滋生了大量各種各樣的惡意機器人和網路爬蟲，比如像惡意軟體機器人、垃圾郵件程式或內容刮刀，這些惡意工具一直偷偷摸摸地掃描你的網站，幹些諸如檢測潛在網站漏洞、收穫電子郵件地址，或者只是從你的網站偷取內容。大多數機器人能夠通過它們的“使用者代理”簽名字串來識別。

作為第一道防線，你可以嘗試通過將這些機器人的使用者代理字串新增入robots.txt檔案來阻止這些惡意軟體機器人訪問你的網站。但是，很不幸的是，該操作只針對那些“行為良好”的機器人，這些機器人被設計遵循robots.txt的規範。許多惡意軟體機器人可以很容易地忽略掉robots.txt，然後隨意掃描你的網站。

另一個用以阻擋特定機器人的途徑，就是配置你的網路伺服器，通過特定的使用者代理字串拒絕要求提供內容的請求。本文就是說明如何在nginx網路伺服器上阻擋特定的使用者代理。

在Nginx中將特定使用者代理列入黑名單

要配置使用者代理阻擋列表，請開啟你的網站的nginx配置檔案，找到server定義部分。該檔案可能會放在不同的地方，這取決於你的nginx配置或Linux版本（如，/etc/nginx/nginx.conf,/etc/nginx/sites-enabled/<your-site>,/usr/local/nginx/conf/nginx.conf,/etc/nginx/conf.d/<your-site>）。

server {
    listen       80 default_server;
    server_name  xmodulo.com;
    root         /usr/share/nginx/html;

    ....
}

在開啟該配置檔案並找到 server 部分後，新增以下 if 宣告到該部分內的某個地方。

server {
    listen       80 default_server;
    server_name  xmodulo.com;
    root         /usr/share/nginx/html;

    # 大小寫敏感的匹配
    if ($http_user_agent ~ (Antivirx|Arian) {
        return 403;
    }

    #大小寫無關的匹配
    if ($http_user_agent ~* (netcrawl|npbot|malicious)) {
        return 403;
    }

    ....
}

如你所想，這些 if 宣告使用正規表示式匹配了任意不良使用者字串，並向匹配的物件返回403 HTTP狀態碼。 $http_user_agent是HTTP請求中的一個包含有使用者代理字串的變數。‘~’操作符針對使用者代理字串進行大小寫敏感匹配，而‘~*’操作符則進行大小寫無關匹配。‘|’操作符是邏輯或，因此，你可以在 if 宣告中放入眾多的使用者代理關鍵字，然後將它們全部阻擋掉。

在修改配置檔案後，你必須重新載入nginx以啟用阻擋：

$ sudo /path/to/nginx -s reload

你可以通過使用帶有 “–user-agent” 選項的 wget 測試使用者代理阻擋。

$ wget --user-agent "malicious bot" http://<nginx-ip-address>

管理Nginx中的使用者代理黑名單

目前為止，我已經展示了在nginx中如何阻擋一些使用者代理的HTTP請求。如果你有許多不同型別的網路爬蟲機器人要阻擋，又該怎麼辦呢？

由於使用者代理黑名單會增長得很大，所以將它們放在nginx的server部分不是個好點子。取而代之的是，你可以建立一個獨立的檔案，在該檔案中列出所有被阻擋的使用者代理。例如，讓我們建立/etc/nginx/useragent.rules，並定義以下面的格式定義所有被阻擋的使用者代理的圖譜。

$ sudo vi /etc/nginx/useragent.rules

map $http_user_agent $badagent {
        default         0;
        ~*malicious     1;
        ~*backdoor      1;
        ~*netcrawler    1;
        ~Antivirx       1;
        ~Arian          1;
        ~webbandit      1;
}

與先前的配置類似，‘~*’將匹配以大小寫不敏感的方式匹配關鍵字，而‘~’將使用大小寫敏感的正規表示式匹配關鍵字。“default 0”行所表達的意思是，任何其它檔案中未被列出的使用者代理將被允許。

接下來，開啟你的網站的nginx配置檔案，找到裡面包含 http 的部分，然後新增以下行到 http 部分某個位置。

http {
    .....
    include /etc/nginx/useragent.rules
}

注意，該 include 宣告必須出現在 server 部分之前（這就是為什麼我們將它新增到了 http 部分裡）。

現在，開啟nginx配置定義你的伺服器的部分，新增以下 if 宣告：

server {
    ....

    if ($badagent) {
        return 403;
    }

    ....
}

最後，重新載入nginx。

$ sudo /path/to/nginx -s reload

現在，任何包含有/etc/nginx/useragent.rules中列出的關鍵字的使用者代理將被nginx自動禁止。