【python爬蟲】python爬蟲demo

我在入門python爬蟲的時候，在網上找demo，找了好久都找不到，好不容易找到了一個，但是又跑不起來。 我把一個簡易的demo貼出來。

使用 BeautifulSoup 庫 抓取 酷狗音樂TOP500 第1頁到第9頁的音樂歌名、歌手、時長、連結

1、需要先安裝 requests 庫和BeautifulSoup 庫 ，自行百度

2、Demo

import requests
from bs4 import BeautifulSoup
import time
#import re

# headers 用chrom瀏覽器——F12——切換到network 欄,重新整理下要訪問的目標網站，就能找到`User-Agent` 複製下來就好。用於偽裝瀏覽器，便於爬蟲穩定性
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '
                 '(KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}

def get_info(url):
    wb_data = requests.get(url, headers = headers) #get方法中加入請求頭
    soup = BeautifulSoup(wb_data.text, 'html.parser') #對返回的結果進行解析
    # BeautifulSoup的select() 函式的使用見我的另一篇博文http://blog.csdn.net/la6nf/article/details/79338920
    # nth-child 在python中執行會報錯，需改為 nth-of-type
    ranks = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_num > strong')
    links = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > a')
    times = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_tips_r > span')
    #time2 = re.findall('<span class="pc_temp_time">(.*?)</span>', wb_data.text, re.S)

    # get_text()從html標籤中提取文字，strip()去除字串兩端的空格
    for rank, link, time,  in zip(ranks, links, times):
        data = {
            'rank': rank.get_text().strip(),
            'singer': link.get_text().split('-')[0].strip(),
            'song': link.get_text().split('-')[1].strip(),
            'time': time.get_text().strip(),
            'link': link.get('href')
        }
        print (data)

if __name__ == '__main__':  # 相當於java中的main方法
    urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format (num) for num in range(1,10)]
    for url in urls:
        get_info(url)
        #睡眠2秒
        time.sleep(2)