### 前言
驗證碼是阻擋機器人攻擊的有效實踐，網路爬蟲，又被稱為網路機器人，是按照一定的規則，自動地抓取網路資訊和資料的程式或者指令碼。如何防控，這裡簡單提供幾個小Tips。

![](http://img.blog.itpub.net/blog/2023/05/09/f9691c83acb40063.jpeg?x-oss-process=style/bb)

### 使用nginx的自帶功能
透過對httpuseragent阻塞來實現，包括GET/POST方式的請求，以nginx為例。
拒絕以wget方式的httpuseragent，增加如下內容：
```
Block http user agent - wget
if ($http_user_agent ~* (Wget) ) {
    return 403;
}
```
如何拒絕多種httpuseragent，內容如下：
```
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
    return 403;
}
```
### 限制User-Agent欄位
User-Agent欄位能識別使用者所使用的作業系統、版本、CPU、瀏覽器等資訊，如果請求來自非瀏覽器，就能識別其為爬蟲，阻止爬蟲抓取網站資訊。

### 限制IP或賬號
根據業務需求，要求使用者透過驗證碼後才能使用某些功能或許可權。當同一IP、同一裝置在一定時間內訪問網站的次數，系統自動限制其訪問瀏覽。只有在輸入正確的驗證碼之後才能繼續訪問。

### 驗證碼攔截
在登入頁等頁面，新增驗證碼，以識別是正常流量還是惡意爬蟲，也是一種基本的操作。

![](http://img.blog.itpub.net/blog/2023/05/09/99320e6688a98416.png?x-oss-process=style/bb)

**HTML程式碼：**
```
<div></div>
<div id="captchaBox3">載入中 ...</div>
<input type="hidden" name="kgCaptchaToken" value="">
```

**Python程式碼：**
```
from wsgiref.simple_server import make_server
from KgCaptchaSDK import KgCaptcha
def start(environ, response):
    # 填寫你的 AppId，在應用管理中獲取
    AppID = "xxx"
    # 填寫你的 AppSecret，在應用管理中獲取
    AppSecret = "xxx"
    request = KgCaptcha(AppID, AppSecret)
    # 填寫應用服務域名，在應用管理中獲取
    request.appCdn = "https://cdn.kgcaptcha.com"
    # 請求超時時間，秒
    request.connectTimeout = 10
    # 使用者id/登入名/手機號等資訊，當安全策略中的防控等級為3時必須填寫
    request.userId = "kgCaptchaDemo"
    # 使用其它 WEB 框架時請刪除 request.parse，使用框架提供的方法獲取以下相關引數
    parseEnviron = request.parse(environ)
    # 前端驗證成功後頒發的 token，有效期為兩分鐘
    request.token = parseEnviron["post"].get("kgCaptchaToken", "")  # 前端 _POST["kgCaptchaToken"]
    # 客戶端IP地址
    request.clientIp = parseEnviron["ip"]
    # 客戶端瀏覽器資訊
    request.clientBrowser = parseEnviron["browser"]
    # 來路域名
    request.domain = parseEnviron["domain"]
    # 傳送請求
    requestResult = request.sendRequest()
    if requestResult.code == 0:
        # 驗證透過邏輯處理
        html = "驗證透過"
    else:
        # 驗證失敗邏輯處理
        html = f"{requestResult.msg} - {requestResult.code}"
    response("200 OK", [("Content-type", "text/html; charset=utf-8")])
    return [bytes(str(html), encoding="utf-8")]
httpd = make_server("0.0.0.0", 8088, start)  # 設定除錯埠  http://localhost:8088/
httpd.serve_forever()
```

### 最後

SDK開源地址：[https://github.com/KgCaptcha](https://github.com/KgCaptcha)，順便做了一個演示：[https://www.kgcaptcha.com/demo/](https://www.kgcaptcha.com/demo/)

惡意爬蟲？能讓惡意爬蟲遁於無形的小Tips

相關文章