Python小白的爬蟲問題與解決（含程式碼）

因為上一篇文章沒辦法放程式碼，所以重新發一次

2018/5/7
看到作者發的程式碼很簡單，嗯，適合我這個新手+懶人！但是，問題沒有那麼簡單！
原文地址：https://www.jianshu.com/p/ea0b56e3bd86

Python版本：2.7.13

2018/5/8

5/9

參考前輩經驗後，編碼問題得到改善。

連結：https://blog.csdn.net/gyafdxis/article/details/77923516

參考了這位大神（https://www.jianshu.com/p/d1bf2f0bdc51）對資料的儲存方法，終於成功了！！

5/10

今日任務：把程式碼改為函式

最後修改完成的程式碼

import requests
from lxml import etree
import pandas as pd
import time
import random
from tqdm import tqdm
import csv
import codecs
'''
import sys

reload(sys)
sys.setdefaultencoding('utf8')
'''
data = []

def getyp(page):
    url = 'https://movie.douban.com/subject/6390825/comments?start=%d&limit=20&sort=new_score&status=P&percent_type='%(page*20)
    response = requests.get(url)
    response.encoding = 'utf-8'
    #print (response.content)
    response = etree.HTML(response.content)

    print (url)

    for i in range(1,21):#每頁顯示20條評論

        name1 = response.xpath('//*[@id="comments"]/div[%d]/div[2]/h3/span[2]/a'%(i))#獲取使用者名稱，儲存為列表形式，每次迴圈，name1中都只有一個元素
        score1 = response.xpath('//*[@id="comments"]/div[%d]/div[2]/h3/span[2]/span[2]'%(i))#獲取評分
        comment1 = response.xpath('//*[@id="comments"]/div[%d]/div[2]/p'%(i))#獲取影評

    
        if type(name1[0].text) == unicode:
            name_element = name1[0].text.encode('utf-8')
        else:
            name_element = name1[0].text

    
        score_element = score1[0].attrib['class'][7]#獲取class屬性，取第8個字元
    
    
        if type(comment1[0].text) == unicode:
            comment_element = comment1[0].text.encode('utf-8')
        else:
            comment_element = comment1[0].text
            print type(comment_element)

        data.append([name_element,score_element,comment_element])



for i in tqdm(range(1,3)):#抓取2頁
    getyp(i)
    time.sleep(random.uniform(6,9))


with open("DBtest.csv","wb") as f:
    f.write(codecs.BOM_UTF8)
    writer = csv.writer(f)
    writer.writerow(['name','score','comment'])
    for k in data:
        writer.writerow(k)