實用爬蟲-01-檢測爬蟲的 IP

肖朋偉發表於2018-09-08
爬蟲

實用爬蟲-01-檢測爬蟲的 IP

  • 本篇介紹一個識別爬蟲 ip 的小例項（教你一招識破無效的 ip 代理）

【注意事項】：

  • 1.url 可能會失效（個人感覺，因為它帶了一個2018，下面附上鍊接獲取方法）
  • 2.當然使用的時候，只需兩步：
    • （1）把你的爬蟲的 url 換成下面的 url，目前是：http://2018.ip138.com/ic.asp
    • （2）把 decode() 方法的引數要設定成 'GBK' （預設的 'utf-8' 是不行的）
  • 程式碼 ipQuery.py 檔案：https://xpwi.github.io/py/spider/ipQuery.py
# coding: utf-8
# 測爬蟲 ip 工具
from urllib import request,error

if __name__ == '__main__':
    # 該地址可能會失效，如果失效，請參照：https://www.cnblogs.com/xpwi/p/9610887.html
    url = "http://2018.ip138.com/ic.asp"
    rsp = request.urlopen(url)
    html = rsp.read().decode('GBK')
    print(html)

執行結果

實用爬蟲-01-檢測爬蟲的 IP

下面介紹怎麼獲取查詢 ip 的地址

  • 在百度搜尋關鍵字：ip，點選 IP地址查詢
  • 或者直接訪問：http://www.ip138.com/
  • 操作截圖：
    實用爬蟲-01-檢測爬蟲的 IP
  • 右鍵，點選【檢視頁面原始碼】
  • 【搜尋】關鍵字：【地理位置】
  • 下面是一個 iframe 標籤，地址就在那
    實用爬蟲-01-檢測爬蟲的 IP

更多文章連結：實用爬蟲

  • 本筆記不允許任何個人和組織轉載

相關文章