python爬蟲爬取糗事百科

最近研究python爬蟲，按照網上資料實現了python爬蟲爬取糗事百科，做個筆記。

分享幾個學習python爬蟲資料：

廖雪峰python教程 主要講解python的基礎程式設計知識

python開發簡單爬蟲 通過一個例項講解python爬蟲的整體結構

python正規表示式 講解爬蟲中匹配中所需要的正規表示式

python爬蟲系列教程 幾個訓練的例項

簡單爬蟲的架構

爬蟲的執行流程

下面按照教程中的講解實現python爬蟲爬取糗事百科

新建工程

新建pydev package

新建pydev module

編輯程式碼：

import urllib2
import re


class QSBK:
 
 
    def __init__(self):
        self.pageIndex =2
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers = { 'User-Agent' : self.user_agent } 
        self.stories = []
        self.enable = False
   
    def getPage(self,pageIndex):
        try:
            url = ' http://www.qiushibaike.com/hot/page/' + str(pageIndex)
            request = urllib2.Request(url,headers = self.headers)
            response = urllib2.urlopen(request)
            pageCode = response.read().decode('utf-8')
            return pageCode
 
        except urllib2.URLError, e:
            if hasattr(e,"reason"):
                print u"連線糗事百科失敗,錯誤原因",e.reason
                return None
 
 
 
    def getPageItems(self,pageIndex):
        pageCode = self.getPage(pageIndex)
        if not pageCode:
            print "頁面載入失敗...."
            return None
        
        pattern = re.compile(r'<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+
                     '="content".*?>(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
        items = re.findall(pattern,pageCode)
        pageStories = []
        for item in items:
            replaceBR = re.compile('<br/>')
            text = re.sub(replaceBR,"\n",item[1])
            pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[3].strip()])
        return pageStories
 
    def loadPage(self):
        if self.enable == True:
            if len(self.stories) < 2:
                pageStories = self.getPageItems(self.pageIndex)
                if pageStories:
                    self.stories.append(pageStories)
                    self.pageIndex += 1
    
    def getOneStory(self,pageStories,page):
        for story in pageStories:
            input = raw_input()
            self.loadPage()
            if input == "Q":
                self.enable = False
                return
            print u"第%d頁\t釋出人:%s\t贊:%s\n%s" %(page,story[0],story[3],story[1])
    
    def start(self):
        print u"正在讀取糗事百科,按回車檢視新段子，Q退出"
        self.enable = True
        self.loadPage()
        nowPage = 0
        while self.enable:
            if len(self.stories)>0:
                pageStories = self.stories[0]
                nowPage += 1
                del self.stories[0]
                self.getOneStory(pageStories,nowPage)
 
 
spider = QSBK()
spider.start()

執行結果:

對於不同的網頁，請右鍵“審查元素”檢視網頁程式碼，修改一下正規表示式