爬取js渲染過的頁面（爬取一個婚慶網站為例）

wanghandou發表於2017-11-22
JS網站
這個網站是js渲染過的，所以我們可以使用PhantomJS瀏覽器或者在network中找出需要post的qurrystring中的引數，發請求就可以了，得到的是json
# !/usr/bin/python
# -*- encoding: UTF-8 -*-
from lxml import etree
import urllib
import urllib2
import jsonpath
import json
from lxml import etree
class we():
def __init__(self):
self.page=3
self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36",}
def meiyiye(self):
item=[]
headers=self.headers
url="http://search.jiayuan.com/v2/search_v2.php"
fromdata={
"sex":"f",
"key":"",
"stc":"1%3A41%2C2%3A19.27%2C3%3A155.170%2C23%3A1",
"sn":"default",
"sv":"1",
"p":self.page,#表示爬取的第幾頁
"f":"",
"listStyle":"bigPhoto",
"pri_uid":"170703614",
"jsversion":"v5"}
data = urllib.urlencode(fromdata)
request=urllib2.Request(url,data=data,headers=headers)#post請求的話需要data值，而get請求不需要data有值
response = urllib2.urlopen(request)
#得到的是json格式的字串（字典行的）
html = response.read()
html1=html.replace("##jiayser##","").replace("//","")
#把json轉換成python格式的unicode字串（列表形式的）
content = json.loads(html1)
id_list=jsonpath.jsonpath(content,"$..uid")#在content中匹配出需要的個人id，然後通過這個id拼接出個人主頁的連結
for i in id_list:
item.append(i)
self.page+=1
self.meiyigeren(item)
#處理這一頁每一個人的頁面資訊
def meiyigeren(self,item):
for id in item:
print "*******************************************"
print u"使用者id:"+str(id)
url="http://www.jiayuan.com/"+str(id)+"?fxly=search_v2_index"#拼接連線，然後傳送請求，找到個人主頁中需要的有用的內容
print u"主頁連結:"+url
headers=self.headers
request=urllib2.Request(url,headers=headers)
response = urllib2.urlopen(request)
html = response.read()
content=etree.HTML(html)#解析HTML文件為HTML DOM模型，然後下面就可以使用xpath匹配出想要的內容
username=content.xpath('//div[@class="main_1000 bg_white mt15"]//h4/text()')
if len(username)==1:
print username[0]
else:
print u"沒有名字"
a=content.xpath('//div[@class="main_1000 bg_white mt15"]//h6[@class="member_name"]/text()')
we=" ".join(a)
ni=we.replace("，"," ").replace(',',' ')
ha=ni.split(" ")
print u"年齡:"+ha[0]
header_url=content.xpath('//div[@class="big_pic fn-clear"]//li[2]//tr//img[@class="img_absolute"]//@_src')
if len(header_url)==1:
header_urll=header_url[0]
else:
header_urll=u"沒有頭像連結:"
print u"頭像連結:"+header_urll
image_url=content.xpath('//div[@class="small_pic_box fn-clear"]//div[@class="small_pic fn-clear"]//li//img//@src')
print u"相簿連結:",
print image_url
content1=content.xpath('//div[@class="main_1000 mt15 fn-clear"]//div[@class="bg_white"]//div[@class="js_text"]//text()')
content2=""
for i in content1:
content2+=i
content3=content2
print u"內心獨白:"+content3.strip()
place=content.xpath('//div[@class="main_1000 bg_white mt15"]//h6[@class="member_name"]/a[2]/text()')
if len(place)==1:
where=place[0]
else:
where=u"河南"
print u"來自:"+where+u"省"
xueli=content.xpath('//div[@class="main_1000 bg_white mt15"]//ul[@class="member_info_list fn-clear"]/li[1]//div[@class="fl pr"]/em/text()')
if len(xueli)==1:
print u"學歷:"+xueli[0]
else:
print u"學歷:本科"
print "***********************************************"
if self.page<=5:
self.meiyiye()
if __name__=="__main__":
ni=we()
ni.meiyiye()


 




相關文章