我的第一篇部落格（從爬蟲開始）

自從自學ython到現在差不多三月有 餘，總感覺學了後面的，就會忘了前面的，特此開個部落格在這裡記錄一下，順便讓自己鞏固一下知識。
剛來第一天，也不知道弄什麼好，還是先來一個爬蟲爬取小姐姐的圖片吧（聽說這樣比較吸引點選…）

說到爬蟲，當然必須要用到requests，所以第一步當然是安裝了，安裝也很簡單,直接pip就行：

pip install requests

哦，忘記說了，我用的Python版本是3.7.9的，建議大家把Python換成3.5以上的吧。

今天我們的目標就是：站長之家
http://aspx.sc.chinaz.com/query.aspx?keyword=%E6%80%A7%E6%84%9F%E7%BE%8E%E5%A5%B3

我們先來分析一下網站，右鍵點選檢查，再點選原始碼，發現這是個靜態網頁，沒困難，直接搞起
我們需要用到一個parsel 庫，這個庫是scrapy的內建庫，裡面有各種查詢資料的方法，re,xpath,css等等都很有用，而且還能為以後學習scrapy提前參考一下，parsel下載也很簡單：

pip install parsel

import parsel
import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3760.400 QQBrowser/10.5.4083.400'
}
url = 'http://aspx.sc.chinaz.com/query.aspx?keyword=性感美女'

html = requests.get(url,headers=headers).text

res = parsel.Selector(html)
url_list = res.xpath('//div[@class="imgload"]/div')

for urls in url_list:
    link = urls.xpath('./div/a/@href').get()
    print(link)

output：
http://sc.chinaz.com/tupian/150921398600.htm
http://sc.chinaz.com/tupian/190529039593.htm
http://sc.chinaz.com/tupian/150807092720.htm
http://sc.chinaz.com/tupian/150116595010.htm
http://sc.chinaz.com/tupian/190205506532.htm
http://sc.chinaz.com/tupian/170516393121.htm
http://sc.chinaz.com/tupian/190403392630.htm
http://sc.chinaz.com/tupian/180301072722.htm
http://sc.chinaz.com/tupian/140703076000.htm
....

順利拿到內容頁，繼續分析，方法同上，就不多說了，直接上程式碼：

	content = requests.get(link,headers=headers)
    content.encoding = "utf-8"
    image_url = parsel.Selector(content.text)
    for img in image_url.xpath('//div[@class="imga"]/a'):
        # 提取圖片地址
        images = img.xpath('./img/@src').get()        
        
        # 提取標題做圖片名稱
        title = img.xpath('./@title').get()


        print(images,title)

output：
http://pic.sc.chinaz.com/files/pic/pic9/201509/apic14867.jpg 漂亮性感美女圖片
http://pic.sc.chinaz.com/files/pic/pic9/201905/zzpic18256.jpg 歐美性感美女寫真圖片
http://pic.sc.chinaz.com/files/pic/pic9/201508/apic13697.jpg 美乳性感美女圖片
http://pic.sc.chinaz.com/files/pic/pic9/201501/apic8825.jpg 包廂性感美女圖片
http://pic.sc.chinaz.com/files/pic/pic9/201901/zzpic16191.jpg 個性性感美女圖片
http://pic.sc.chinaz.com/files/pic/pic9/201701/fpic10114.jpg 風塵性感美女圖片
http://pic.sc.chinaz.com/files/pic/pic9/201904/zzpic17359.jpg 抽菸性感美女圖片
http://pic.sc.chinaz.com/files/pic/pic9/201802/zzpic10593.jpg 超性感美女寫真圖片
http://pic.sc.chinaz.com/files/pic/pic9/201406/apic4601.jpg 妖嬈性感美女圖片
.....

圖片與名字都拿到了，下一步就是講這些全部下載到本地，然後有時間再慢慢看咯,全部程式碼奉上：

import parsel
import requests


for page in range(1,21):        # 爬取20頁
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3760.400 QQBrowser/10.5.4083.400'
    }
    url = f'http://aspx.sc.chinaz.com/query.aspx?keyword=性感美女&issale=&classID=0&navindex=0&page={page}'

    html = requests.get(url,headers=headers).text

    res = parsel.Selector(html)
    url_list = res.xpath('//div[@class="imgload"]/div')

    for urls in url_list:
        link = urls.xpath('./div/a/@href').get()
        

        content = requests.get(link,headers=headers)
        content.encoding = "utf-8"
        image_url = parsel.Selector(content.text)
        for img in image_url.xpath('//div[@class="imga"]/a'):
            # 提取圖片地址
            images = img.xpath('./img/@src').get()        
            
            # 提取標題做圖片名稱
            title = img.xpath('./@title').get()

            print("正在下載",images)
            # 定義下載到何處
            filename = title + ".jpg"
            image = requests.get(images)
            with open("./images/" + filename,"wb") as f:
                f.write(image.content)

可以優化的地方還有很多，可以做的更加靈活，暫時就先這樣吧