scrapy yield request失效問題

飛車穿越聯盟發表於2020-09-27

1.出現的域名問題,可能yield request 中url允許的域名沒有新增進去
allowed_domains = [‘www.search.51job.com’,‘www.jobs.51job.com’]

2.可以試試新增dont filter = true
yield scrapy.Request(url=url, callback=self.detail, dont_filter=True)

相關文章