Python爬蟲教程-32-Scrapy 爬蟲框架專案 Settings.py 介紹

肖朋偉發表於2018-09-06
Python爬蟲框架

本篇介紹專案開發的過程中，對 Setting 檔案的配置和使用

Python爬蟲教程-32-Scrapy 爬蟲框架專案 Settings.py 介紹

Settings 中配置 USER_AGENTS

  • 在 settings.py 檔案中很多東西預設是給註釋掉的，當我們需要使用的時候，根據註釋的提示，我們編寫我們自己的內容
    這裡寫圖片描述
  • 例如：
  • 我們想設定一個 USER_AGENT 列表
    • 在 settings.py 檔案中找到 USER_AGENT ，拷貝常用的 USER _AGENT 值在它下面
      這裡寫圖片描述
    • 但是 settings 只有一行，就是沒有具體的內容，我們想要使用的話，就需要我們自己去填寫
    • 這就需要我們自己在網上找到常用的瀏覽器 User-Agent 值， 我找到了一些，想要使用直接拷貝就可以
    USER_AGENTS = [
"Mozilla/5.0 (compatible; MISE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.5.727; Media Center PC 6.0)",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
"Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60 ", 
"Opera/8.0 (Windows NT 5.1; U; en) ",
"Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50 ", 
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400) ",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)", 
]
  • 直接將這段程式碼拷貝到 Settings 檔案中就可以

Settings 中配置 PROXIES

# IP 有效期一般20天，請自行到上述網站獲取最新 IP
PROXIES = [
    {'ip_port': '177.136.120.174:80', 'user_passwd': 'user1:pass1'},
    {'ip_port': '218.60.8.99:3129', 'user_passwd': 'user2:pass2'},
    {'ip_port': '206.189.204.62:8080', 'user_passwd': 'user3:pass3'},
    {'ip_port': '125.62.26.197:3128', 'user_passwd': 'user4:pass4'}
]
  • 這些類似的設定都是一次設定，就可以重複使用了

關於去重

  • 很多網站都是相同的內容，比如介紹 python 爬蟲的，很多很多，假設爬取到這些的時候，我們就值需要一個，利用 scrapy 的去重功能，防止它對重複網站無限制爬下去
  • 為了防止爬蟲陷入死迴圈，需要去重
    • 即在 spider 中 parse 函式中，返回 Request 的時候加上 dont_filter = False 引數
    myspider(scrapy.Spider):
 def parse (...):
...
 yield scrapy.Request(url = url, callback = self.parse, dont_filter = False)
  • 如何在 scrapy 使用 selenium
    • 可以放入中介軟體中的 process _request 函式中
    • 在函式中呼叫 selenium，完成爬取後返回 Response
    class MyMiddleWare(object):
 def process_request(...):

     driver = webdriver.Chrome()
     html = driver.page_source
     driver.quit()

     return HtmlResponse(url = request.url, encoding = 'utf-8', body = html ,request = requeset
  • 下一篇連結：Python爬蟲教程-33-scrapy shell的使用及Scrapy爬蟲框架例項
  • 拜拜

更多文章連結：Python 爬蟲隨筆

- 本筆記不允許任何個人和組織轉載

相關文章