Python爬蟲,一般用於抓取特定的內容,最近想學學,通過網路抓取自己想要的內容,於是乎學習了一下Python,用一個小案例來紀念一下學習的成果。
案例程式主要功能:抓取我們學校校園網新聞中的圖片
# coding=utf-8
import urllib
import re
# 定義個函式 抓取網頁內容
def getHtml(url):
webPage = urllib.urlopen(url)
html = webPage.read()
return html
# 定義一個函式 抓取網頁中的圖片
def getNewsImgs(html):
# 正規表示式
reg = r'src="(.+?\.jpg)"'
img = re.compile(reg)
# 獲取網頁中所有符合條件的圖片url
imglist = re.findall(img,html)
x = 0
# 根據圖片地址下載圖片並重新命名
for imgUrl in imglist:
urllib.urlretrieve("http://www.abc.edu.cn/news/"+imgUrl,'news-%s.jpg' % x)
x += 1
# 獲取網頁
html = getHtml("http://www.abc.edu.cn/news/show.aspx?id=21413&cid=5")
# 抓取圖片
print getNewsImgs(html)
複製程式碼