用python語言編寫網路爬蟲

 

         本文主要用到python3自帶的urllib模組編寫輕量級的簡單爬蟲。至於怎麼定位一個網頁中具體元素的url可自行百度火狐瀏覽器的firebug外掛或者谷歌瀏覽器的自帶方法。

1、訪問一個網址

re=urllib.request.urlopen('網址‘）

開啟的也可以是個urllib.request.Request物件，後邊也可以跟資料引數，當有傳入資料時會自動變為POST請求；

 

2、urllib.request.Request(url,data=None,headers={})物件屬性和方法

    full_url
    type
    host
    data
    selector
    method    
    get_method()
    add_header(key,val)
    add_unredirected_header(key,header)
    has_header(header)
    remove_header(header)
    get_full_url(header)
    set_proxy(host,type)
    get_header(header_name,default=None)
15　　  header_items()    

 

3、已連線物件的可用方法：

re.read()    　　　　　　　　 讀取內容，想要將內容儲存下來，需先新建一個相應格式的檔案，再將讀取到的內容寫入到這個檔案內即可；
re.geturl()    　　　　　　  可取得已開啟物件的url地址；
re.info()    　　　　　　　　 可取得響應伺服器的資訊；
re.getcode()    　　　　　　 可取得響應狀態碼；
urllib.parse.urlencode()　　將一個儲存post資料的字典轉換成開啟網頁所需要的資料格式；

可用json.loads()將文字轉換成鍵值對

可在傳地址時將header以一個字典資料的形式傳入，以隱藏自己的訪問方式；也可用re.add_header('')    的方式進行追加；

 

4、當知道一個檔案的url時可用此方法直接下載儲存到本地

urllib.request.urlretrieve('http://wx1.sinaimg.cn/mw600/9bbc284bgy1ffkuafn4xtj20dw0jgh08.jpg','bc.jpg')

 

5、登入功能的實現(post)

（1）利用session保留登入狀態

login_data = {
            '_xsrf': getXSRF(baseurl),
            'password': password,
            'remember_me': 'true',
            'email': email,
session = requests.session()
content = session.post(url, headers = headers_base, data = login_data)
s = session.get("http://www.zhihu.com", verify = False)
print s.text.encode('utf-8')

(2)利用cookie進行登入

post = {
            'ua':self.ua,
            'TPL_checkcode':'',
            'CtrlVersion': '1,0,0,7',
            'TPL_password':'',
}
#將POST的資料進行編碼轉換
postData = urllib.urlencode(post)
cookie = cookielib.LWPCookieJar()
cookieHandler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(cookieHandler, urllib2.HTTPHandler)
#第一次登入獲取驗證碼嘗試，構建request
request = urllib2.Request(loginURL,postData,loginHeaders)
#得到第一次登入嘗試的相應
response = self.opener.open(request)
#獲取其中的內容
content = response.read().decode('gbk')
 

網站常用的編碼方式有utf8,gbk,gb2132,gb18030等

 

6、代理的使用

同一個Ip裝置在短時間內訪問一個伺服器次數過多會被伺服器禁止訪問，所以很多時候我們都需要用天代理來幫助我們解決這個問題。方法如下：

proxy_support = urllib.request.ProxyHandler({型別：代理ip和埠號})
opner = urllib.request.build_opener(proxy_suppoert)
urllib.request.install_opener(opener)  #可選安裝
opener.open(url)        #或直接呼叫opener代理

 

注：如想實現更復雜的可使用更全面的scrapy框架。

 

附：自己寫的一個驗證網上代理的有效性的爬蟲，此爬蟲先從網站上獲取代理的地址，然後使用這個代理來訪問百度，驗證是否能得到百度的網頁，如能則將此代理地址儲存。

import threading,time,pickle,re
import urllib.request

class ProxyCheck(threading.Thread):
    def __init__(self,proxylist):
        threading.Thread.__init__(self)
        self.proxylist = proxylist
        self.timeout = 5
        self.test_url = 'http://www.baidu.com'
        self.test_str = '11000002000001'
        self.checkedProxyList = []

    def checkProxy(self):
        cookies = urllib.request.HTTPCookieProcessor()
        for proxy in self.proxylist:
            proxy_handler = urllib.request.ProxyHandler({'http':r'%s://%s:%s' %(proxy[0],proxy[1],proxy[2])})
            opener = urllib.request.build_opener(cookies,proxy_handler)
            opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '
                                                '(KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')]
            urllib.request.install_opener(opener)
            t1 = time.time()
            try:
                req = urllib.request.urlopen(self.test_url,timeout=self.timeout)
                result = req.read().decode('utf-8')
                timeused = time.time() - t1
                pos = result.find(self.test_str)
                if pos > 1:
                    self.checkedProxyList.append((proxy[0],proxy[1],proxy[2],proxy[3],timeused))
                    print((proxy[0],proxy[1],proxy[2],proxy[3],timeused))
                else:
                    continue
            except:
                continue
    # def sort(self):
    #     sorted(self.checkedProxyList,cmp=lambda x,y:cmp(x[4],y[4]))
    def save(self,filename):
        with open("%s.txt"%filename,'w') as f:
            for proxy in self.checkedProxyList:
                f.write("{}\t{}:{}\t{}\t{}\n".format(*proxy))
        with open("%s.pickle"%filename,'wb') as fb:
            pickle.dump(self.checkedProxyList,fb)

    def run(self):
        self.checkProxy()
        self.save("checked-50")


class xiciProxy:
    def __init__(self):
        self.alllist = []
    def grep(self,url):
        # req = urllib.request.Request(url)
        # req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '
        #                             '(KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')


        result1 = urllib.request.urlopen(req)
        result2 = result1.read().decode('utf-8')

        regex = r"<td>(\d+.\d+.\d+.\d+)</td>\n.*?" \
                r"<td>(\d+)</td>\n.*?" \
                r"\n.*?" \
                r"<a href=.*?>(.*?)</a>\n.*?" \
                r"\n.*?" \
                r"\n.*?" \
                r"<td>(HTTPS?)</td>"
        get = re.findall(regex,result2)
        proxylist = []
        for i in get:
            proxylist.append((i[3],i[0],i[1],i[2]))
        return proxylist
    def save(self,filename):
        with open("%s.txt"%filename,'w') as f:
            for proxy in self.alllist:
                f.write("{}\t{}:{}\t{}\n".format(*proxy))
        with open("%s.pickle"%filename,'wb') as fb:
            pickle.dump(self.alllist,fb)
    def run(self):
        for i in range(51,1951):
            url = "http://www.xicidaili.com/nn/{}".format(i)
            print(url)
            proxylist = self.grep(url)
            self.alllist += proxylist
            if i % 50 == 0:
                self.save("xiciproxy-{}".format(i))
                self.alllist = []

with open("xiciproxy-50.pickle","rb") as fb:
    proxylist = pickle.load(fb)
ProxyCheck(proxylist).run()