記一次nginx攔截爬蟲

EdwinYang發表於2023-03-30
Nginx爬蟲
  • 前言：
    最近發現伺服器在某個時間段，記憶體瘋狂飆升，開始還以為是正常的業務造成的，升級伺服器記憶體，發現還是沒有解決問題；（這裡自己偷懶了，一開始沒有找到問題，預設為就是業務量上來了）
    馬上檢視nginx日誌，發現了一些不同尋常的請求：

    這是什麼玩意，懷揣著好奇心馬上去搜尋了一下，結果：

    好傢伙，差點沒把我伺服器送回家；
    趕緊解決：

    nginx層面解決

    發現雖然是爬蟲，但是並沒有偽裝，每個請求裡邊都帶了user-agent，而且都是一樣的，那就好解決了，直接上程式碼：(我這裡適用的是docker)
  1. docker-compose
version: '3'
services:
  d_nginx:
    container_name: c_nginx
    env_file:
      - ./env_files/nginx-web.env
    image: nginx:1.20.1-alpine
    ports:
      - '80:80'
      - '81:81'
      - '443:443'
    links:
      - d_php
    volumes:
      - ./nginx/conf:/etc/nginx/conf.d
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf
      - ./nginx/deny-agent.conf:/etc/nginx/agent-deny.conf
      - ./nginx/certs:/etc/nginx/certs
      - ./nginx/logs:/var/log/nginx/
      - ./www:/var/www/html
  1. 目錄結構
nginx
-----nginx.conf
-----agent-deny.conf
-----conf
----------xxxx01_server.conf
----------xxxx02_server.conf
  1. agent-deny.conf
if ($http_user_agent ~* (Scrapy|AhrefsBot)) {
    return 404;
}
if ($http_user_agent ~ "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)|^$" ) {
    return 403;
}
  1. 然後在每個service裡邊include這個agent-deny.conf
server {
    include /etc/nginx/agent-deny.conf;
    listen 80;
    server_name localhost;
    client_max_body_size 100M;
    root /var/www/html/xxxxx/public;
    index index.php;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header REMOTE-HOST $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

    #客戶端允許上傳檔案大小
    client_max_body_size 300M;

    #客戶端緩衝區大小，設定過小，nginx就不會在記憶體裡邊處理，將生成臨時檔案，增加IO
    #預設情況下，該指令,32位系統設定一個8k緩衝區，64位系統設定一個16k緩衝區
    #client_body_buffer_size 5M;
    #發現設定改引數後，伺服器記憶體跳動的幅度比較大，因為你不能控制客戶端上傳，決定不設定改引數

    #此指令禁用NGINX緩衝區並將請求體儲存在臨時檔案中。 檔案包含純文字資料。 該指令在NGINX配置的http，server和location區塊使用
    #可選值有：
    #off:該值將禁用檔案寫入
    #clean：請求body將被寫入檔案。 該檔案將在處理請求後刪除
    #on: 請求正文將被寫入檔案。 處理請求後，將不會刪除該檔案
    client_body_in_file_only clean;


    #客戶端請求超時時間
    client_body_timeout 600s;

    location /locales {
       break;
    }

    location / {
        #禁止get請求下載.htaccess檔案
        if ($request_uri = '/.htaccess') {
            return 404;
        }
        #禁止get請求下載.gitignore檔案
        if ($request_uri = '/storage/.gitignore') {
            return 404;
        }
        #禁止get下載web.config檔案
        if ($request_uri = '/web.config') {
            return 404;
        }
        try_files $uri $uri/ /index.php?$query_string;
    }

    location /oauth/token {
        #禁止get請求訪問 /oauth/token
        if ($request_method = 'GET') {
            return 404;
        }
        try_files $uri $uri/ /index.php?$query_string;
    }

    location /other/de {
        proxy_pass http://127.0.0.1/oauth/;
        rewrite ^/other/de(.*)$ https://www.baidu.com permanent;
    }

    location ~ \.php$ {
        try_files $uri /index.php =404;
        fastcgi_split_path_info ^(.+\.php)(/.+)$;
        fastcgi_pass d_php:9000;
        fastcgi_index index.php;
        fastcgi_param SCRIPT_FILENAME  $document_root$fastcgi_script_name;
        fastcgi_connect_timeout 300s;
        fastcgi_send_timeout 300s;
        fastcgi_read_timeout 300s;
        include fastcgi_params;
        #add_header 'Access-Control-Allow-Origin' '*';
        #add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS, PUT, DELETE';
        #add_header 'Access-Control-Allow-Headers' 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization,token';
    }
}

這樣每個請求裡邊都會攔截這個AhrefsBot了。

阿里雲安全組攔截

分析日誌還發現，其實請求的IP就那麼幾個段，那麼為了多重保證（阿里雲這個是見效最快，效果最好的，付費的就是不一樣）
ip段：

54.36.0.0
51.222.0.0
195.154.0.0

直接外網入方向：

本作品採用《CC 協議》，轉載必須註明作者和本文連結

相關文章