實用爬蟲-02-爬蟲真正使用代理 ip

實用爬蟲-02-爬蟲真正使用代理 ip

• 因為這裡呢，是實用爬蟲，想要仔細學習一些基礎的，可以去檢視：
  • Python 爬蟲教程：https://www.cnblogs.com/xpwi/category/1295282.html
• 獲取代理 ip 的網站：
  • www.goubanjia.com
  • www.xicidaili.com
• 【注意事項】：
  • 1.如果測出來的 ip 是你本機的 ip，99% 的原因是：你找的代理 ip 不能用，更換其他 ip
  • 2.測 ip 的地址的地址可能會變，一般不會更新，萬一是這個 url 失效，參照：實用爬蟲-01-檢測爬蟲的 IP
• 程式碼 proxy.py 檔案：https://xpwi.github.io/py/spider/proxy.py

# coding:utf-8
# 爬蟲使用代理IP

from urllib import request,error

if __name__ == '__main__':

    # 0.設定測 ip 的地址
    url = "http://2018.ip138.com/ic.asp"
    # 1.設定代理 ip，獲取方法參照：https://www.cnblogs.com/xpwi/p/9600727.html
    proxy = {'http':'189.201.142.129:57815'}
    # 2.建立ProxyHandler
    proxy_handler = request.ProxyHandler(proxy)
    # 3.建立Opener
    opener = request.build_opener(proxy_handler)
    # 4.安裝Opener
    request.install_opener(opener)

    # 下面再進行訪問url就會使用代理伺服器
    try:
        rsp = request.urlopen(url)
        html = rsp.read().decode('GBK')
        print(html)

    except error.HTTPError as e:
        print(e)
    except Exception as e:
        print(e)

執行結果

• 什麼墨西哥，我在天津

更多文章連結：實用爬蟲

---

• 本筆記不允許任何個人和組織轉載