爬蟲第二彈：千圖網電商淘寶模板圖片下載

歡喜yu發表於2018-06-14
爬蟲
爬蟲第二彈：千圖網電商淘寶模板圖片下載
 一、功能分析：
1、下載千圖網電商淘寶的所有模板圖片要求是高清版本；
2、並按照主頁面將圖片歸類資料夾。
 
二、思路分析：
1、利用scrapy構建scrapy startproject qtpjt，搭建專案，並通過scrapy genspider -t basic qtspd 58pic.com構建基本的爬蟲檔案；
2、通過item.py構建所有資料項;
3、setting.py將爬蟲協議關閉,開啟ITEM_PIPELINES的元件
4、通過爬蟲檔案qtspd.py 做到提取需要錄入資料庫所有資料項的資訊；
5、通過pipelines工具對資料項進行進一步的處理後下載圖片到相應資料夾;

三、具體實現：
1、資料夾的實現：
1.1、通過在item建立picfolder資料項，並通過在主頁面item["picfolder"]=response.xpath("//em[@class='text-green-b']/text()").extract()獲取資料夾名稱資訊。
1.2、並通過以下語句構建資料夾
folder = os.path.exists(
'C:\\Users\\leishen\\Documents\\anaconda3\\scrapy\\master python scrapy\\chapter 19\\pic' + '\\' + item["picfolder"][0])
if not folder:
os.mkdir('C:\\Users\\leishen\\Documents\\anaconda3\\scrapy\\master python scrapy\\chapter 19\\pic' + '\\' + item["picfolder"][0])
2、遍歷的實現
2.1主頁面遍歷
for i in range(2,3):
#構造出下一頁圖片列表頁的網址
nexturl="http://www.58pic.com/piccate/3-0-0-default-0_2_0_0_default_0-"+str(i)+".html"
yield Request(nexturl, callback=self.parse)
2.2對圖片的連結的爬取：
首先通過item["link"]=response.xpath("//a[@class='thumb-box']/@href").extract() 獲取每個圖片主題的子連結；
然後通過該連結，順利爬取高清模板圖片的連結
headers = ("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0")opener = urllib.request.build_opener()
opener.addheaders = [headers]
# 將opener安裝為全域性
urllib.request.install_opener(opener)
for m in range(0, len(item["link"])):
    data = urllib.request.urlopen(item["link"][m]).read()
    paturl = '<img src="(http.*?)".*?show-area-pic'
    item["picurl"] = re.compile(paturl).findall(str(data))
    yield item 
3、圖片的下載工作，該工作主要在pipelines.py下完成，主要利用urllib.request.urlretrieve()完成
class QtpjtPipeline(object):
    def process_item(self, item, spider):
        for j in range(0, len(item["picurl"])):
            picurl = item["picurl"][j]
            trueurl=picurl
            patlocal = "http://pic.qiantucdn.com/58pic/.*?/.*?/.*?/(.*?).jpg"
            picid=re.compile(patlocal).findall(str(trueurl))[0] + "-" + str(j)
            localpath="C:/Users/leishen/Documents/anaconda3/scrapy/master python scrapy/chapter 19/pic/" +item["picfolder"][0]+"/"+str(picid)+ ".jpg"
            urllib.request.urlretrieve(trueurl, filename=localpath)
        return item

四、專案總結
本專案主要學習兩點，1圖片的下載方法，2通過python語言自動構建資料夾。

相關文章