Scrapy學習中解決No module named tutorial.items問題
初學Scrapy,開始以為是官網教程很坑爹的有錯,仔細排查後發現還是自己太粗心。
(版本問題:2018-1-25,python 2.7.11)
報錯:No module named tutorial.items
解決問題注意兩點:
1. 引入items的路徑。items包實際是在上一級目錄的,直接對著教程操作容易忽略這個問題
2. tutorial.items
這個匯入包,不知為何不識別,只能以..items
的方式匯入。
3. 重點:items檔案中需要新增程式碼,這個我在看手冊時忽略了。新增內容如下:
import scrapy
class DmozItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
pass
正確匯入,解決問題。
# 這樣不行:from ..tutorial.items import *
# 正確引入程式碼如下:
from ..items import *
在scrapy目錄下執行命令:
\turorial\spiders>scrapy crawl dmoz -o items.json
測試發現返回200OK
再看下items.json
的檔案內容:
結果滿足預期。
附:程式碼全文
import scrapy
from ..items import DmozItem
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["yixzm.cn"]
start_urls = [
"http://www.yixzm.cn"
]
def parse(self, response):
for sel in response.xpath('//ul/li'):
item = DmozItem()
item['title'] = sel.xpath('a/text()').extract()
item['link'] = sel.xpath('a/@href').extract()
item['desc'] = sel.xpath('text()').extract()
yield item
相關文章
- No module named MYSQLdb 問題解決MySql
- ImportError: No module named thrift.Thrift問題解決ImportError
- 解決Python找不到ssl模組問題 No module named _sslPython
- 解決:ModuleNotFoundError: No module named ‘urllib3.packages.six.moves問題ErrorPackage
- ImportError: No module named ‘torch‘ 解決方法ImportError
- ImportError: No module named setuptools 解決方法ImportError
- ModuleNotFoundError: No module named ‘DBUtils‘解決辦法Error
- ModuleNotFoundError: No module named ‘cv2’——(版本問題)Error
- 解決已安裝opencv但仍提示報錯“no module named cv2“問題OpenCV
- python ModuleNotFoundError: No module named ‘requests‘ 的 解決方案PythonError
- java學習中問題與解決方式Java
- munium學習過程中問題解決
- 解決問題oracle學習篇Oracle
- ModuleNotFoundError: No module named ‘matplotlib‘ 一系列解決辦法Error
- Amigo學習(一)解決使用中遇到的問題Go
- ImportError: No module named `defusedxml`ImportErrorXML
- ImportError: No module named yamlImportErrorYAML
- ImportError: No module named utilsImportError
- ModuleNotFoundError: No module named 'sqlite'ErrorSQLite
- ImportError: No module named cElementTreeImportError
- 解決pycharm問題:module 'pip' has no attribute 'main'PyCharmAI
- ModuleNotFoundError: No module named 'pyttsx'ErrorTTS
- ImportError: No module named torchvisionImportError
- ModuleNotFoundError: No module named ‘Crypto‘ ‘Cryptodome‘Error
- ImportError: No module named builtinsImportErrorUI
- OAF helloworld 學習異常問題解決
- 強化學習-學習筆記11 | 解決高估問題強化學習筆記
- Gentoo startx出現Failed to load module問題解決AI
- 問題結局辦法:Error loading psycopg2 module: No module named ‘psycopg2‘Error
- 解決 flutter module 中 .android 和 .ios 目錄不被覆蓋的問題FlutterAndroidiOS
- ModuleNotFoundError: No module named 'phkit.pinyin'Error
- centos 解決python3.7 安裝時No module named _ssl 親測有效CentOSPython
- 【深度學習篇】--神經網路中解決梯度彌散問題深度學習神經網路梯度
- Spring中出現:No bean named 'XXX' available問題解決SpringBeanAI
- RedHat9的service named stop問題及解決辦法(轉)Redhat
- python 3.6.2 安裝與執行 Scrapy 問題與解決Python
- Web 學習之跨域問題及解決方案Web跨域
- 教程:使用遷移學習來解決影像問題!遷移學習