Python爬取CSDN部落格專家系列——移動開發
註明:小編親測,只要把第一部分裡面的url修改,即可抓取部落格專家裡邊所有的專家的部落格內容和標題,後續小編還會對此程式碼改進,敬請期待
文章分為兩部分:Python爬蟲爬取移動開發專家的姓名和部落格首頁地址,爬取每個專家的所有部落格存放在已該專家名字命名的txt檔案中
說明:本爬蟲主要是採用BeautifulSoup和少量的正則匹配,在第一部分抓取完畢後需要將檔案格式改為ANSI,程式碼如下:
第一部分:
第二部分:
結果如下圖:
文章分為兩部分:Python爬蟲爬取移動開發專家的姓名和部落格首頁地址,爬取每個專家的所有部落格存放在已該專家名字命名的txt檔案中
說明:本爬蟲主要是採用BeautifulSoup和少量的正則匹配,在第一部分抓取完畢後需要將檔案格式改為ANSI,程式碼如下:
第一部分:
import urllib2
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
def getPage(href): #偽裝成瀏覽器登陸,獲取網頁原始碼
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request(
url = href ,
headers = headers
)
content = urllib2.urlopen(req).read()
return content
def getAll(): #得到所有移動開發專家的姓名和部落格首頁地址
url = 'http://blog.csdn.net/mobile/experts.html'
page=BeautifulSoup(getPage(url)) #得到移動專家首頁原始碼,並beautifulsoup化
div = page.find('div',class_='list_3',id='experts')
for li in div.find_all('li'):
fp = open('nameAndurl.txt','a')
fp.write(li.get_text() + '\t' + li.a.get('href') + '\n')
fp.close()
if __name__=="__main__":
getAll()
第二部分:
#coding:utf-8
import urllib2
from bs4 import BeautifulSoup
import os
import re
def getPage(href): #偽裝成瀏覽器登陸,獲取網頁原始碼
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request(
url = href ,
headers = headers
)
content = urllib2.urlopen(req).read()
return content
def getOneAllBlog():
fp=open('nameAndurl.txt','r')
while True:
line = fp.readline().strip()
if line:
name = line.split('\t')[0] #拆分讀出的一行第一個為name
href = line.split('\t')[1] #拆分讀出的一行第二個為href
getBlog(name,href)
else:
break
def getPageNum(href):
num =0
page = getPage(href)
soup = BeautifulSoup(page)
div = soup.find('div',class_='pagelist')
result = div.span.get_text().split(' ')
list_num = re.findall("[0-9]{1}",result[3])
for i in range(len(list_num)):
num = num*10 + int(list_num[i]) #計算總的頁數
return num
def getText(name,url):
page = BeautifulSoup(getPage(url))
span_list = page.find_all('span',class_='link_title')
div_list = page.find_all('div',class_='article_description')
k =0
str1 = 'none'
fp = open("%s.txt" % name,"a")
# 獲取文章內容和內容
for div in div_list:
title = span_list[k].a.get_text().strip()
text = div.get_text()
title = title.encode('utf-8') #轉換成utf-8編碼,否則後文寫不到檔案裡
text = text.encode('utf-8')
print title
k+=1
fp.write(str(title) + '\n' + str(text) + '\n')
fp.write('===========================================' + '\n')
fp.close()
def getBlog(name,href):
i =1
for i in range(1,(getPageNum(href)+1)):
url = href + '/article/list/' + str(i)
print url
getText(name,url)
i+=1
print url,'======================================OK'
if __name__=='__main__':
getOneAllBlog()
相關文章
- python爬蟲爬取csdn部落格專家所有部落格內容Python爬蟲
- Python爬取CSDN部落格資料Python
- 實現爬取csdn個人部落格並匯出資料
- CSDN部落格頻道“移動開發之我見”主題徵文活動【博文彙總】移動開發
- Python——個人部落格專案開發Python
- Python3爬取CSDN個人部落格相關資料--新增GUI圖形化介面PythonGUI
- 【CSDN部落格頻道攜手圖靈教育】“移動開發之我見”主題徵文活動圖靈移動開發
- 這是一名南京985AI碩士,CSDN部落格專家AI
- 恭賀自己itpub和csdn雙雙獲得專家部落格稱號
- 個人部落格開發系列:前臺部落格頁面開發部署完成
- 將部落格搬至CSDN
- Python3 大型網路爬蟲實戰 002 --- scrapy 爬蟲專案的建立及爬蟲的建立 --- 例項:爬取百度標題和CSDN部落格Python爬蟲
- Python 實用爬蟲-04-使用 BeautifulSoup 去水印下載 CSDN 部落格圖片Python爬蟲
- 批量匯出 CSDN 部落格並轉為 hexo 部落格風格Hexo
- Python爬蟲實戰一:爬取csdn學院所有課程名、價格和課時Python爬蟲
- django專案開發實戰——部落格Django
- JavaSE_8系列部落格——專家之路(一)---Java反射的總結Java反射
- 【CSDN部落格遷移】Android高德地圖開發(2)——地圖顯示+自定義控制元件Android地圖控制元件
- [python爬蟲] 正規表示式使用技巧及爬取個人部落格例項Python爬蟲
- CSDN部落格匯出備份工具
- CSDN部落格地址,歡迎光臨
- python爬蟲--爬取鏈家租房資訊Python爬蟲
- 01、部落格爬蟲爬蟲
- [python 爬蟲]第一個Python爬蟲,爬取某個新浪部落格所有文章並儲存為doc文件Python爬蟲
- ThinkPHP5+LayUI雲易部落格系統-自動同步CSDN網站的部落格資料PHPUI網站
- 【爬蟲】利用Python爬蟲爬取小麥苗itpub部落格的所有文章的連線地址(1)爬蟲Python
- 部落格遷移
- CSDN部落格海報分享上線啦!
- 如何在CSDN部落格中編輯公式?公式
- 個人部落格開發系列:文章實時儲存
- (轉)Android系列開發部落格資源彙總Android
- 分享5個爬蟲專業部落格網站爬蟲網站
- Python爬取個人部落格,帶你製作高逼格的資料聚合雲圖Python
- 測試Windows Live Writer 釋出 csdn 部落格Windows
- 基於.NetCore開發部落格專案 StarBlog - (4) markdown部落格批量匯入NetCore
- Python爬蟲實戰系列1:部落格園cnblogs熱門新聞採集Python爬蟲
- 開啟ITPUB部落格專欄技能!
- [Python學習] 簡單爬取CSDN下載資源資訊Python