Python爬蟲教程-31-建立 Scrapy 爬蟲框架專案

本篇是介紹在 Anaconda 環境下，建立 Scrapy 爬蟲框架專案的步驟，且介紹比較詳細

Python爬蟲教程-31-建立 Scrapy 爬蟲框架專案

• 首先說一下，本篇是在 Anaconda 環境下，所以如果沒有安裝 Anaconda 請先到官網下載安裝
• Anaconda 下載地址：https://www.anaconda.com/download/

Scrapy 爬蟲框架專案的建立

• 0.開啟【cmd】
• 1.進入你要使用的 Anaconda 環境
  • 1.環境名可以在【Pycharm】的【Settings】下【Project：】下找到
    

  • 2.使用命令：activate 環境名，例如：

    activate learn

  • 3.進入想要存放 scrapy 專案的目錄下 【注意】

  • 4.新建專案：scrapy startproject xxx專案名，例如：

    scrapy startproject new_project

• 5.操作截圖：
  
• 6.在檔案資源管理器開啟該目錄，就會發現生成了好幾個檔案
  
• 7.使用 Pycharm 開啟專案所在目錄就可以了

這裡我們就把專案建立好了，分析一下自動生成的檔案的作用

Scrapy 爬蟲框架專案的開發

• 0.使用 Pycharm 開啟專案，截圖：
  
• 專案的開發的大致流程：
  • 1.明確需要爬取的目標/產品：編寫 item.py
  • 2.在 spider 目錄下載建立 python 檔案製作爬蟲：
    • 地址 spider/xxspider.py 負責分解，提取下載的資料
  • 3.儲存內容：pipelines.py
• Pipeline.py 檔案
  • 對應 pipelines 檔案
  • 爬蟲提取出資料存入 item 後，item 中儲存的資料需要進一步處理，比如清洗，去蟲，儲存等
  • Pipeline 需要處理 process_item 函式
  • process_item
    • spider 提取出來的 item 作為引數傳入，同時傳入的還有 spider
    • 此方法必須實現
    • 必須返回一個 Item 物件，被丟棄的 item 不會被之後的 pipeline
• _ init _：建構函式
  • 進行一些必要的引數初始化
• open_spider(spider)：
  • spider 物件對開啟的時候呼叫
• close_spider(spider)：
  • 當 spider 物件被關閉的時候呼叫
• Spider 目錄
  • 對應的是資料夾 spider 下的檔案
  • _ init _：初始化爬蟲名稱，start _urls 列表
  • start_requests：生成 Requests 物件交給 Scrapy 下載並返回 response
  • parse：根據返回的 response 解析出相應的 item，item 自動進入 pipeline：如果需要，解析 url，url自動交給 requests 模組，一直迴圈下去
  • start_requests：此方法盡能被呼叫一次，讀取 start _urls 內容並啟動迴圈過程
  • name：設定爬蟲名稱
  • start_urls：設定開始第一批爬取的 url
  • allow_domains：spider 允許去爬的域名列表
  • start_request(self)：只被呼叫一次
  • parse：檢測編碼
  • log：日誌記錄

更多文章連結：Python 爬蟲隨筆

---

• 本筆記不允許任何個人和組織轉載