使用python進行web抓取

# section 1
User-agent: BadCrawler
Disallow: /

# section 2
User-agent: *
Crawl-delay: 5
Disallow: /trap 

# section 3
Sitemap: http://example.webscraping.com/sitemap.xml

# section 1

User-agent: BadCrawler

Disallow: /

# section 2

User-agent: *

Crawl-delay: 5

Disallow: /trap

# section 3

Sitemap: http://example.webscraping.com/sitemap.xml

更多關於web機器人的介紹參見 http://www.robotstxt.org。
Sitemap的協議： http://www.sitemaps.org/protocol.html，比如：

http://example.webscraping.com/view/Afghanistan-1
http://example.webscraping.com/view/Aland-Islands-2
http://example.webscraping.com/view/Albania-3
...

http://example.webscraping.com/view/Afghanistan-1

http://example.webscraping.com/view/Aland-Islands-2

http://example.webscraping.com/view/Albania-3

...

站點地圖經常不完整。

站點大小評估：
通過google的site查詢比如：site:automationtesting.sinaapp.com

站點技術評估：

# pip install builtwith
# ipython
In [1]: import builtwith

In [2]: builtwith.parse('http://automationtesting.sinaapp.com/')
Out[2]: 
{u'issue-trackers': [u'Trac'],
 u'javascript-frameworks': [u'jQuery'],
 u'programming-languages': [u'Python'],
 u'web-servers': [u'Nginx']}

# pip install builtwith

# ipython

In [1]: import builtwith

In [2]: builtwith.parse('http://automationtesting.sinaapp.com/')

Out[2]:

{u'issue-trackers': [u'Trac'],

u'javascript-frameworks': [u'jQuery'],

u'programming-languages': [u'Python'],

u'web-servers': [u'Nginx']}

分析網站所有者：

# pip install python-whois
# ipython
In [1]: import whois

In [2]: print whois.whois('http://automationtesting.sinaapp.com')
{
  "updated_date": "2016-01-07 00:00:00", 
  "status": [
    "serverDeleteProhibited https://www.icann.org/epp#serverDeleteProhibited", 
    "serverTransferProhibited https://www.icann.org/epp#serverTransferProhibited", 
    "serverUpdateProhibited https://www.icann.org/epp#serverUpdateProhibited"
  ], 
  "name": null, 
  "dnssec": null, 
  "city": null, 
  "expiration_date": "2021-06-29 00:00:00", 
  "zipcode": null, 
  "domain_name": "SINAAPP.COM", 
  "country": null, 
  "whois_server": "whois.paycenter.com.cn", 
  "state": null, 
  "registrar": "XIN NET TECHNOLOGY CORPORATION", 
  "referral_url": "http://www.xinnet.com", 
  "address": null, 
  "name_servers": [
    "NS1.SINAAPP.COM", 
    "NS2.SINAAPP.COM", 
    "NS3.SINAAPP.COM", 
    "NS4.SINAAPP.COM"
  ], 
  "org": null, 
  "creation_date": "2009-06-29 00:00:00", 
  "emails": null
}

# pip install python-whois

# ipython

In [1]: import whois

In [2]: print whois.whois('http://automationtesting.sinaapp.com')

{

"updated_date": "2016-01-07 00:00:00",

"status": [

"serverDeleteProhibited https://www.icann.org/epp#serverDeleteProhibited",

"serverTransferProhibited https://www.icann.org/epp#serverTransferProhibited",

"serverUpdateProhibited https://www.icann.org/epp#serverUpdateProhibited"

"name": null,

"dnssec": null,

"city": null,

"expiration_date": "2021-06-29 00:00:00",

"zipcode": null,

"domain_name": "SINAAPP.COM",

"country": null,

"whois_server": "whois.paycenter.com.cn",

"state": null,

"registrar": "XIN NET TECHNOLOGY CORPORATION",

"referral_url": "http://www.xinnet.com",

"address": null,

"name_servers": [

"NS1.SINAAPP.COM",

"NS2.SINAAPP.COM",

"NS3.SINAAPP.COM",

"NS4.SINAAPP.COM"

"org": null,

"creation_date": "2009-06-29 00:00:00",

"emails": null

}

抓取第一個站點

簡單的爬蟲(crawling)程式碼如下：

import&nbsp;urllib2

def&nbsp;download(url):
&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;'Downloading:',&nbsp;url
&nbsp;&nbsp;&nbsp;&nbsp;try:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;html&nbsp;=&nbsp;urllib2.urlopen(url).read()
&nbsp;&nbsp;&nbsp;&nbsp;except&nbsp;urllib2.URLError&nbsp;as&nbsp;e:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;'Download&nbsp;error:',&nbsp;e.reason
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;html&nbsp;=&nbsp;None
&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;html

import urllib2

def download(url):

    print 'Downloading:', url

    try:

        html = urllib2.urlopen(url).read()

    except urllib2.URLError as e:

        print 'Download error:', e.reason

        html = None

    return html

可以基於錯誤碼重試。HTTP狀態碼：https://tools.ietf.org/html/rfc7231#section-6。4**沒必要重試，5**可以重試下。

import urllib2

def download(url, num_retries=2):
    print 'Downloading:', url
    try:
        html = urllib2.urlopen(url).read()
    except urllib2.URLError as e:
        print 'Download error:', e.reason
        html = None
        if num_retries > 0:
            if hasattr(e, 'code') and 500 
  http://httpstat.us/500 會返回500，可以用它來測試下：
>>> download('http://httpstat.us/500')
Downloading: http://httpstat.us/500
Download error: Internal Server Error
Downloading: http://httpstat.us/500
Download error: Internal Server Error
Downloading: http://httpstat.us/500
Download error: Internal Server Error
設定 user agent：
urllib2預設的user agent是“Python-urllib/2.7”，很多網站會對此進行攔截, 推薦使用接近真實的agent，比如
Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0
為此我們增加user agent設定：
import urllib2

def download(url, user_agent='Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0', num_retries=2):
    print 'Downloading:', url
    headers = {'User-agent': user_agent}
    request = urllib2.Request(url, headers=headers)    
    try:
        html = urllib2.urlopen(request).read()
    except urllib2.URLError as e:
        print 'Download error:', e.reason
        html = None
        if num_retries > 0:
            if hasattr(e, 'code') and 500 

爬行站點地圖：
def crawl_sitemap(url):
    # download the sitemap file
    sitemap = download(url)
    # extract the sitemap links
    links = re.findall('(.*?)', sitemap)
    # download each link
    for link in links:
        html = download(link)
        # scrape html here
        # ...
ID迴圈爬行：•  http://example.webscraping.com/view/Afghanistan-1•  http://example.webscraping.com/view/Australia-2•  http://example.webscraping.com/view/Brazil-3上面幾個網址僅僅是最後面部分不同，通常程式設計師喜歡用資料庫的id，比如：http://example.webscraping.com/view/1 ，這樣我們就可以資料庫的id抓取網頁。
for page in itertools.count(1):
    url = 'http://example.webscraping.com/view/-%d' % page
    html = download(url)
    if html is None:
        break
    else:
        # success - can scrape the result
        pass
        當然資料庫有可能刪除了一條記錄，為此我們改進成如下：
# maximum number of consecutive download errors allowed
max_errors = 5
# current number of consecutive download errors
num_errors = 0
for page in itertools.count(1):
    url = 'http://example.webscraping.com/view/-%d' % page
    html = download(url)
    if html is None:
        # received an error trying to download this webpage
        num_errors += 1
        if num_errors == max_errors:
            # reached maximum number of
            # consecutive errors so exit
            break
    else:
        # success - can scrape the result
        # ...
        num_errors = 0
有些網站不存在的時候會返回404，有些網站的ID不是這麼有規則的，比如亞馬遜使用ISBN。        

分析網頁
一般的瀏覽器都有"檢視頁面原始碼"的功能，在Firefox，Firebug尤其方便。以上工具都可以郵件點選網頁調出。抓取網頁資料主要有3種方法：正規表示式、BeautifulSoup和lxml。正規表示式示例：
In [1]: import re

In [2]: import common

In [3]: url = 'http://example.webscraping.com/view/UnitedKingdom-239'

In [4]: html = common.download(url)
Downloading: http://example.webscraping.com/view/UnitedKingdom-239

In [5]: re.findall('(.*?)', html)
Out[5]: 
['',
 '244,820 square kilometres',
 '62,348,447',
 'GB',
 'United Kingdom',
 'London',
 'EU',
 '.uk',
 'GBP',
 'Pound',
 '44',
 '@# #@@|@## #@@|@@# #@@|@@## #@@|@#@ #@@|@@#@ #@@|GIR0AA',
 '^(([A-Z]\d{2}[A-Z]{2})|([A-Z]\d{3}[A-Z]{2})|([A-Z]{2}\d{2}[A-Z]{2})|([A-Z]{2}\d{3}[A-Z]{2})|([A-Z]\d[A-Z]\d[A-Z]{2})|([A-Z]{2}\d[A-Z]\d[A-Z]{2})|(GIR0AA))$',
 'en-GB,cy-GB,gd',
 'IE ']

In [6]: re.findall('(.*?)', html)[1]
Out[6]: '244,820 square kilometres'

100

101

102

103

104

105

106

107

108

109

import urllib2

def download(url, num_retries=2):

print 'Downloading:', url

try:

html = urllib2.urlopen(url).read()

except urllib2.URLError as e:

print 'Download error:', e.reason

html = None

if num_retries > 0:

if hasattr(e, 'code') and 500

http://httpstat.us/500 會返回500，可以用它來測試下：

>>> download('http://httpstat.us/500')

Downloading: http://httpstat.us/500

Download error: Internal Server Error

Downloading: http://httpstat.us/500

Download error: Internal Server Error

Downloading: http://httpstat.us/500

Download error: Internal Server Error

設定 user agent：

urllib2預設的user agent是“Python-urllib/2.7”，很多網站會對此進行攔截, 推薦使用接近真實的agent，比如

Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0

為此我們增加user agent設定：

import urllib2

def download(url, user_agent='Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0', num_retries=2):

print 'Downloading:', url

headers = {'User-agent': user_agent}

request = urllib2.Request(url, headers=headers)

try:

html = urllib2.urlopen(request).read()

except urllib2.URLError as e:

print 'Download error:', e.reason

html = None

if num_retries > 0:

if hasattr(e, 'code') and 500

爬行站點地圖：

def crawl_sitemap(url):

# download the sitemap file

sitemap = download(url)

# extract the sitemap links

links = re.findall('(.*?)', sitemap)

# download each link

for link in links:

html = download(link)

# scrape html here

# ...

ID迴圈爬行：• http://example.webscraping.com/view/Afghanistan-1• http://example.webscraping.com/view/Australia-2• http://example.webscraping.com/view/Brazil-3上面幾個網址僅僅是最後面部分不同，通常程式設計師喜歡用資料庫的id，比如：http://example.webscraping.com/view/1 ，這樣我們就可以資料庫的id抓取網頁。

for page in itertools.count(1):

url = 'http://example.webscraping.com/view/-%d' % page

html = download(url)

if html is None:

break

else:

# success - can scrape the result

pass

當然資料庫有可能刪除了一條記錄，為此我們改進成如下：

# maximum number of consecutive download errors allowed

max_errors = 5

# current number of consecutive download errors

num_errors = 0

for page in itertools.count(1):

url = 'http://example.webscraping.com/view/-%d' % page

html = download(url)

if html is None:

# received an error trying to download this webpage

num_errors += 1

if num_errors == max_errors:

# reached maximum number of

# consecutive errors so exit

break

else:

# success - can scrape the result

# ...

num_errors = 0

有些網站不存在的時候會返回404，有些網站的ID不是這麼有規則的，比如亞馬遜使用ISBN。

分析網頁

一般的瀏覽器都有"檢視頁面原始碼"的功能，在Firefox，Firebug尤其方便。以上工具都可以郵件點選網頁調出。抓取網頁資料主要有3種方法：正規表示式、BeautifulSoup和lxml。正規表示式示例：

In [1]: import re

In [2]: import common

In [3]: url = 'http://example.webscraping.com/view/UnitedKingdom-239'

In [4]: html = common.download(url)

Downloading: http://example.webscraping.com/view/UnitedKingdom-239

In [5]: re.findall('(.*?)', html)

Out[5]:

['',

'244,820 square kilometres',

'62,348,447',

'GB',

'United Kingdom',

'London',

'EU',

'.uk',

'GBP',

'Pound',

'44',

'@# #@@|@## #@@|@@# #@@|@@## #@@|@#@ #@@|@@#@ #@@|GIR0AA',

'^(([A-Z]\d{2}[A-Z]{2})|([A-Z]\d{3}[A-Z]{2})|([A-Z]{2}\d{2}[A-Z]{2})|([A-Z]{2}\d{3}[A-Z]{2})|([A-Z]\d[A-Z]\d[A-Z]{2})|([A-Z]{2}\d[A-Z]\d[A-Z]{2})|(GIR0AA))$',

'en-GB,cy-GB,gd',

'IE ']

In [6]: re.findall('(.*?)', html)[1]

Out[6]: '244,820 square kilometres'

維護成本比較高。
Beautiful Soup：

In [7]: from bs4 import BeautifulSoup

In [8]: broken_html = '<ul class=country><li>Area<li>Population</ul>'

In [9]: # parse the HTML

In [10]: soup = BeautifulSoup(broken_html, 'html.parser')

In [11]: fixed_html = soup.prettify()

In [12]: print fixed_html
<ul class="country">
 <li>
  Area
  <li>
   Population
  </li>
 </li>
</ul>
In [13]: ul = soup.find('ul', attrs={'class':'country'})

In [14]: ul.find('li') # returns just the first match
Out[14]: <li>Area<li>Population</li></li>

In [15]: ul.find_all('li') # returns all matches
Out[15]: [<li>Area<li>Population</li></li>, <li>Population</li>]

In [7]: from bs4 import BeautifulSoup

In [8]: broken_html = '<ul class=country><li>Area<li>Population</ul>'

In [9]: # parse the HTML

In [10]: soup = BeautifulSoup(broken_html, 'html.parser')

In [11]: fixed_html = soup.prettify()

In [12]: print fixed_html

<li>

Area

<li>

Population

</li>

</ul>

In [13]: ul = soup.find('ul', attrs={'class':'country'})

In [14]: ul.find('li') # returns just the first match

Out[14]: <li>Area<li>Population</li></li>

In [15]: ul.find_all('li') # returns all matches

Out[15]: [<li>Area<li>Population</li></li>, <li>Population</li>]

完整的例子：

In [1]: from bs4 import BeautifulSoup

In [2]: url = 'http://example.webscraping.com/places/view/United-Kingdom-239'

In [3]: import common

In [5]: html = common.download(url)
Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

In [6]: soup = BeautifulSoup(html)
/usr/lib/python2.7/site-packages/bs4/__init__.py:166:
 UserWarning: No parser was explicitly specified, so I'm using the best 
available HTML parser for this system ("lxml"). This usually isn't a 
problem, but if you run this code on another system, or in a different 
virtual environment, it may use a different parser and behave 
differently.

To get rid of this warning, change this:

 BeautifulSoup([your markup])

to this:

 BeautifulSoup([your markup], "lxml")

  markup_type=markup_type))

In [7]: # locate the area row

In [8]: tr = soup.find(attrs={'id':'places_area__row'})

In [9]: td = tr.find(attrs={'class':'w2p_fw'}) # locate the area tag

In [10]: area = td.text # extract the text from this tag

In [11]: print area
244,820 square kilometres

In [1]: from bs4 import BeautifulSoup

In [2]: url = 'http://example.webscraping.com/places/view/United-Kingdom-239'

In [3]: import common

In [5]: html = common.download(url)

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

In [6]: soup = BeautifulSoup(html)

/usr/lib/python2.7/site-packages/bs4/__init__.py:166:

UserWarning: No parser was explicitly specified, so I'm using the best

available HTML parser for this system ("lxml"). This usually isn't a

problem, but if you run this code on another system, or in a different

virtual environment, it may use a different parser and behave

differently.

To get rid of this warning, change this:

BeautifulSoup([your markup])

to this:

BeautifulSoup([your markup], "lxml")

markup_type=markup_type))

In [7]: # locate the area row

In [8]: tr = soup.find(attrs={'id':'places_area__row'})

In [9]: td = tr.find(attrs={'class':'w2p_fw'}) # locate the area tag

In [10]: area = td.text # extract the text from this tag

In [11]: print area

244,820 square kilometres

Lxml基於 libxml2(c語言實現)，更快速，但是有時更難安裝。網址：http://lxml.de/installation.html。

In [1]: import lxml.html

In [2]: broken_html = '<ul class=country><li>Area<li>Population</ul>'

In [3]: tree = lxml.html.fromstring(broken_html) # parse the HTML

In [4]: fixed_html = lxml.html.tostring(tree, pretty_print=True)

In [5]: print fixed_html
<ul class="country">
<li>Area</li>
<li>Population</li>
</ul>

In [1]: import lxml.html

In [2]: broken_html = '<ul class=country><li>Area<li>Population</ul>'

In [3]: tree = lxml.html.fromstring(broken_html) # parse the HTML

In [4]: fixed_html = lxml.html.tostring(tree, pretty_print=True)

In [5]: print fixed_html

<li>Population</li>

</ul>

lxml的容錯能力也比較強，少半邊標籤通常沒事。

下面使用css選擇器，注意安裝cssselect。

In [1]: import common

In [2]: import lxml.html

In [3]: url = 'http://example.webscraping.com/places/view/United-Kingdom-239'

In [4]: html = common.download(url)
Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

In [5]: tree = lxml.html.fromstring(html)

In [6]: td = tree.cssselect('tr#places_area__row > td.w2p_fw')[0]

In [7]: area = td.text_content()

In [8]: print area
244,820 square kilometres

In [1]: import common

In [2]: import lxml.html

In [3]: url = 'http://example.webscraping.com/places/view/United-Kingdom-239'

In [4]: html = common.download(url)

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

In [5]: tree = lxml.html.fromstring(html)

In [6]: td = tree.cssselect('tr#places_area__row > td.w2p_fw')[0]

In [7]: area = td.text_content()

In [8]: print area

244,820 square kilometres

在 CSS 中，選擇器是一種模式，用於選擇需要新增樣式的元素。

“CSS” 列指示該屬性是在哪個 CSS 版本中定義的。（CSS1、CSS2 還是 CSS3。）

選擇器	例子	例子描述	CSS
.class	.intro	選擇 class=”intro” 的所有元素。	1
#id	#firstname	選擇 id=”firstname” 的所有元素。	1
*	*	選擇所有元素。	2
element	p	選擇所有元素。	1
element,element	div,p	選擇所有元素和所有元素。	1
element element	div p	選擇元素內部的所有元素。	1
element>element	div>p	選擇父元素為元素的所有元素。	2
element+element	div+p	選擇緊接在元素之後的所有元素。	2
[attribute]	[target]	選擇帶有 target 屬性所有元素。	2
[attribute=value]	[target=_blank]	選擇 target=”_blank” 的所有元素。	2
[attribute~=value]	[title~=flower]	選擇 title 屬性包含單詞 “flower” 的所有元素。	2
[attribute\|=value]	[lang\|=en]	選擇 lang 屬性值以 “en” 開頭的所有元素。	2
:link	a:link	選擇所有未被訪問的連結。	1
:visited	a:visited	選擇所有已被訪問的連結。	1
:active	a:active	選擇活動連結。	1
:hover	a:hover	選擇滑鼠指標位於其上的連結。	1
:focus	input:focus	選擇獲得焦點的 input 元素。	2
:first-letter	p:first-letter	選擇每個元素的首字母。	1
:first-line	p:first-line	選擇每個元素的首行。	1
:first-child	p:first-child	選擇屬於父元素的第一個子元素的每個元素。	2
:before	p:before	在每個元素的內容之前插入內容。	2
:after	p:after	在每個元素的內容之後插入內容。	2
:lang(language)	p:lang(it)	選擇帶有以 “it” 開頭的 lang 屬性值的每個元素。	2
element1~element2	p~ul	選擇前面有元素的每個元素。	3
[attribute^=value]	a[src^=”https”]	選擇其 src 屬性值以 “https” 開頭的每個元素。	3
[attribute$=value]	a[src$=”.pdf”]	選擇其 src 屬性以 “.pdf” 結尾的所有元素。	3
[attribute=value*]	a[src*=”abc”]	選擇其 src 屬性中包含 “abc” 子串的每個元素。	3
:first-of-type	p:first-of-type	選擇屬於其父元素的首個元素的每個元素。	3
:last-of-type	p:last-of-type	選擇屬於其父元素的最後元素的每個元素。	3
:only-of-type	p:only-of-type	選擇屬於其父元素唯一的元素的每個元素。	3
:only-child	p:only-child	選擇屬於其父元素的唯一子元素的每個元素。	3
:nth-child(n)	p:nth-child(2)	選擇屬於其父元素的第二個子元素的每個元素。	3
:nth-last-child(n)	p:nth-last-child(2)	同上，從最後一個子元素開始計數。	3
:nth-of-type(n)	p:nth-of-type(2)	選擇屬於其父元素第二個元素的每個元素。	3
:nth-last-of-type(n)	p:nth-last-of-type(2)	同上，但是從最後一個子元素開始計數。	3
:last-child	p:last-child	選擇屬於其父元素最後一個子元素每個元素。	3
:root	:root	選擇文件的根元素。	3
:empty	p:empty	選擇沒有子元素的每個元素（包括文字節點）。	3
:target	#news:target	選擇當前活動的 #news 元素。	3
:enabled	input:enabled	選擇每個啟用的 <input>元素。	3
:disabled	input:disabled	選擇每個禁用的 <input>元素	3
:checked	input:checked	選擇每個被選中的 <input>元素。	3
:not(selector)	:not(p)	選擇非<p>元素的每個元素。	3
::selection	::selection	選擇被使用者選取的元素部分。	3

CSS 選擇器參見：http://www.w3school.com.cn/cssref/css_selectors.ASP 和 https://pythonhosted.org/cssselect/#supported-selectors。

下面通過提取如下頁面的國家資料來比較效能：

比較程式碼：

import urllib2
import itertools
import re
from bs4 import BeautifulSoup
import lxml.html
import time

FIELDS = ('area', 'population', 'iso', 'country', 'capital',
'continent', 'tld', 'currency_code', 'currency_name', 'phone',
'postal_code_format', 'postal_code_regex', 'languages',
'neighbours')

def download(url, user_agent='Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0', num_retries=2):
    print 'Downloading:', url
    headers = {'User-agent': user_agent}
    request = urllib2.Request(url, headers=headers)    
    try:
        html = urllib2.urlopen(request).read()
    except urllib2.URLError as e:
        print 'Download error:', e.reason
        html = None
        if num_retries > 0:
            if hasattr(e, 'code') and 500 (.*?)' % field, html.replace('n','')).groups()[0]
    return results

def bs_scraper(html):
    soup = BeautifulSoup(html, 'html.parser')
    results = {}
    for field in FIELDS:
        results[field] = soup.find('table').find('tr',id='places_%s__row' % field).find('td',class_='w2p_fw').text
    return results

def lxml_scraper(html):
    tree = lxml.html.fromstring(html)
    results = {}
    for field in FIELDS:
        results[field] = tree.cssselect('table > tr#places_%s__row> td.w2p_fw' % field)[0].text_content()
    return results

NUM_ITERATIONS = 1000 # number of times to test each scraper
html = download('http://example.webscraping.com/places/view/United-Kingdom-239')

for name, scraper in [('Regular expressions', re_scraper),('BeautifulSoup', bs_scraper),('Lxml', lxml_scraper)]:
    # record start time of scrape
    start = time.time()
    for i in range(NUM_ITERATIONS):
        if scraper == re_scraper:
            re.purge()
        result = scraper(html)
        # check scraped result is as expected
        assert(result['area'] == '244,820 square kilometres')

    # record end time of scrape and output the total
    end = time.time()
    print '%s: %.2f seconds' % (name, end - start)

import urllib2

import itertools

import re

from bs4 import BeautifulSoup

import lxml.html

import time

FIELDS = ('area', 'population', 'iso', 'country', 'capital',

'continent', 'tld', 'currency_code', 'currency_name', 'phone',

'postal_code_format', 'postal_code_regex', 'languages',

'neighbours')

def download(url, user_agent='Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0', num_retries=2):

print 'Downloading:', url

headers = {'User-agent': user_agent}

request = urllib2.Request(url, headers=headers)

try:

html = urllib2.urlopen(request).read()

except urllib2.URLError as e:

print 'Download error:', e.reason

html = None

if num_retries > 0:

if hasattr(e, 'code') and 500 (.*?)' % field, html.replace('n','')).groups()[0]

return results

def bs_scraper(html):

soup = BeautifulSoup(html, 'html.parser')

results = {}

for field in FIELDS:

results[field] = soup.find('table').find('tr',id='places_%s__row' % field).find('td',class_='w2p_fw').text

return results

def lxml_scraper(html):

tree = lxml.html.fromstring(html)

results = {}

for field in FIELDS:

results[field] = tree.cssselect('table > tr#places_%s__row> td.w2p_fw' % field)[0].text_content()

return results

NUM_ITERATIONS = 1000 # number of times to test each scraper

html = download('http://example.webscraping.com/places/view/United-Kingdom-239')

for name, scraper in [('Regular expressions', re_scraper),('BeautifulSoup', bs_scraper),('Lxml', lxml_scraper)]:

# record start time of scrape

start = time.time()

for i in range(NUM_ITERATIONS):

if scraper == re_scraper:

re.purge()

result = scraper(html)

# check scraped result is as expected

assert(result['area'] == '244,820 square kilometres')

# record end time of scrape and output the total

end = time.time()

print '%s: %.2f seconds' % (name, end - start)

Windows執行結果：

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239
Regular expressions: 11.63 seconds
BeautifulSoup: 92.80 seconds
Lxml: 7.25 seconds

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

Regular expressions: 11.63 seconds

BeautifulSoup: 92.80 seconds

Lxml: 7.25 seconds

Linux執行結果:

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239
Regular expressions: 3.09 seconds
BeautifulSoup: 29.40 seconds
Lxml: 4.25 seconds

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

Regular expressions: 3.09 seconds

BeautifulSoup: 29.40 seconds

Lxml: 4.25 seconds

其中 re.purge() 使用者清正規表示式的快取。

推薦使用基於Linux的lxml，在同一網頁多次分析的情況優勢更為明顯。

python:利用asyncio進行快速抓取
2014-03-31
Python
使用代理進行抓取的四個優勢
2022-03-25
使用Python進行Web爬取和資料提取
2020-07-28
PythonWeb
如何用 Python 實現 Web 抓取？
2016-05-30
PythonWeb
如何使用代理IP進行資料抓取，PHP爬蟲抓取亞馬遜商品資料
2019-05-15
PHP爬蟲亞馬遜
Web | 淺談用Python進行Web開發
2019-09-01
WebPython
利用WebClient進行資料抓取
2011-08-15
Webclient
用scrapy進行網頁抓取
2012-05-09
網頁
Python 使用 Web3 進行 ERC20 代幣開發
2018-12-03
PythonWeb
使用代理進行抓取網頁的主要原因是什麼？
2021-12-27
網頁
使用pdb進行Python除錯
2021-06-30
Python除錯
使用QTP進行WEB頁面效能測試
2010-02-02
QTWeb
使用python抓取58手機維修資訊
2013-10-01
Python
為什麼要選擇代理來進行抓取？
2022-02-07
教你如何使用Zabbix3.4進行Web監測
2019-12-30
Web
使用web client對 vcenter 進行補丁升級
2023-03-11
Webclient
使用MEAN進行現代化WEB開發
2016-05-11
Web
使用 Python 函式進行模組化
2019-09-01
Python函式
使用python進行漢語分詞
2014-10-20
Python分詞
為什麼要選擇Python進行Web開發?
2020-11-27
PythonWeb
使用 Beautiful Soup 在 Python 中抓取網頁
2021-12-27
Python網頁
Python爬蟲使用代理proxy抓取網頁
2016-11-01
Python爬蟲網頁
企業進行資料抓取時要注意什麼？
2022-11-28
為什麼需要用代理進行網頁抓取？
2021-11-10
網頁
python-進階教程-使用物件屬性進行排序
2018-12-09
Python物件排序
如何使用python進行網頁爬取?
2020-08-06
Python網頁
使用 VS Code 進行 Python 程式設計
2018-09-08
Python程式設計
如何使用 Python 進行字串格式化
2020-09-27
Python字串格式化
如何使用Python對引數進行解析
2018-01-19
Python
使用python進行合併資料集
2018-03-20
Python
使用Python進行併發程式設計
2015-04-02
Python程式設計
使用python進行密碼暴力破解
2013-07-16
Python密碼
使用 Python 進行資料視覺化
2024-07-26
Python視覺化
使用Python呼叫Flickr API抓取圖片資料
2016-07-16
PythonAPI
Python通過代理多執行緒抓取圖片
2019-02-13
Python執行緒
python抓取網頁
2017-06-11
Python網頁
網路爬蟲如何獲取IP進行資料抓取
2022-05-19
爬蟲
藉助代理IP進行網頁抓取的終極指南
2023-03-06
網頁

使用python進行web抓取

相關文章