python http 相關資料

ssihc0發表於2015-02-12
PythonHTTP


http://blog.sina.com.cn/s/blog_74a7e56e010177l8.html

 

早聽說用python做網路爬蟲非常方便，正好這幾天單位也有這樣的需求，需要登陸XX網站下載部分文件，於是自己親身試驗了一番，效果還不錯。

本例所登入的某網站需要提供使用者名稱，密碼和驗證碼，在此使用了python的urllib2直接登入網站並處理網站的Cookie。

Cookie的工作原理：
Cookie由服務端生成，然後傳送給瀏覽器，瀏覽器會將Cookie儲存在某個目錄下的文字檔案中。在下次請求同一網站時，會傳送該Cookie給伺服器，這樣伺服器就知道該使用者是否合法以及是否需要重新登入。

Python提供了基本的cookielib庫，在首次訪問某頁面時，cookie便會自動儲存下來，之後訪問其它頁面便都會帶有正常登入的Cookie了。

原理：
（1）啟用cookie功能
（2）反“反盜鏈”，偽裝成瀏覽器訪問
（3）訪問驗證碼連結，並將驗證碼圖片下載到本地
（4）驗證碼的識別方案網上較多，python也有自己的影象處理庫，此例呼叫了火車頭採集器的OCR識別介面。
（5）表單的處理，可用fiddler等抓包工具獲取需要提交的引數
（6）生成需要提交的資料，生成http請求併傳送
（7）根據返回的js頁面判斷是否登陸成功
（8）登陸成功後下載其它頁面

此例中使用多個賬號輪詢登陸，每個賬號下載3個頁面。
下載網址因為某些問題，就不透露了。

以下是部分程式碼：
#!usr/bin/env python


#-*- coding: utf-8 -*-


import os
import urllib2
import urllib
import cookielib
import xml.etree.ElementTree as ET


#-----------------------------------------------------------------------------
# Login in www.***.com.cn
def ChinaBiddingLogin(url, username, password):
        # Enable cookie support for urllib2
        cookiejar=cookielib.CookieJar()
        urlopener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
        urllib2.install_opener(urlopener)
        
        urlopener.addheaders.append(('Referer', 'http://www.chinabidding.com.cn/zbw/login/login.jsp'))
        urlopener.addheaders.append(('Accept-Language', 'zh-CN'))
        urlopener.addheaders.append(('Host', 'www.chinabidding.com.cn'))
        urlopener.addheaders.append(('User-Agent', 'Mozilla/5.0 (compatible; MISE 9.0; Windows NT 6.1); Trident/5.0'))
        urlopener.addheaders.append(('Connection', 'Keep-Alive'))


        print 'XXX Login......'


        imgurl=r'http://www.*****.com.cn/zbw/login/image.jsp'
        DownloadFile(imgurl, urlopener)
        authcode=raw_input('Please enter the authcode:')
        #authcode=VerifyingCodeRecognization(r"http://192.168.0.106/images/code.jpg")


        # Send login/password to the site and get the session cookie
        values={'login_id':username, 'opl':'op_login', 'login_passwd':password, 'login_check':authcode}
        urlcontent=urlopener.open(urllib2.Request(url, urllib.urlencode(values)))
        page=urlcontent.read(500000)


        # Make sure we are logged in, check the returned page content
        if page.find('login.jsp')!=-1:
                print 'Login failed with username=%s, password=%s and authcode=%s' \
                                % (username, password, authcode)
                return False
        else:
                print 'Login succeeded!'
                return True


#-----------------------------------------------------------------------------
# Download from fileUrl then save to fileToSave
# Note: the fileUrl must be a valid file
def DownloadFile(fileUrl, urlopener):
        isDownOk=False


        try:
                if fileUrl:
                        outfile=open(r'/var/www/images/code.jpg', 'w')
                        outfile.write(urlopener.open(urllib2.Request(fileUrl)).read())
                        outfile.close()


                        isDownOK=True
                else:
                        print 'ERROR: fileUrl is NULL!'
        except:
                isDownOK=False


        return isDownOK


#------------------------------------------------------------------------------
# Verifying code recoginization
def VerifyingCodeRecognization(imgurl):
        url=r'http://192.168.0.119:800/api?'
        user='admin'
        pwd='admin'
        model='ocr'
        ocrfile='cbi'


        values={'user':user, 'pwd':pwd, 'model':model, 'ocrfile':ocrfile, 'imgurl':imgurl}
        data=urllib.urlencode(values)


        try:
                url+=data
                urlcontent=urllib2.urlopen(url)
        except IOError:
                print '***ERROR: invalid URL (%s)' % url


        page=urlcontent.read(500000)


        # Parse the xml data and get the verifying code
        root=ET.fromstring(page)
        node_find=root.find('AddField')
        authcode=node_find.attrib['data']


        return authcode


#------------------------------------------------------------------------------
# Read users from configure file
def ReadUsersFromFile(filename):
        users={}
        for eachLine in open(filename, 'r'):
                info=[w for w in eachLine.strip().split()]
                if len(info)==2:
                        users[info[0]]=info[1]


        return users


#------------------------------------------------------------------------------
def main():
        login_page=r'http://www.***.com.cnlogin/login.jsp'
        download_page=r'http://www.***.com.cn***/***?record_id='


        start_id=8593330
        end_id=8595000


        now_id=start_id
        Users=ReadUsersFromFile('users.conf')
        while True:
                for key in Users:
                        if ChinaBiddingLogin(login_page, key, Users[key]):
                                for i in range(3):
                                        pageUrl=download_page+'%d' % now_id
                                        urlcontent=urllib2.urlopen(pageUrl)


                                        filepath='./download/%s.html' % now_id
                                        f=open(filepath, 'w')
                                        f.write(urlcontent.read(500000))
                                        f.close()


                                        now_id+=1
                        else:
                                continue
#------------------------------------------------------------------------------


if __name__=='__main__':
        main()

 

python登陸網頁並處理網站session和cookie

import cookielib, urllib, urllib2

login = 'ismellbacon123@yahoo.com'
password = 'login'

# Enable cookie support for urllib2
cookiejar = cookielib.CookieJar()
urlOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))

# Send login/password to the site and get the session cookie
values = {'login':login, 'password':password }
data = urllib.urlencode(values)
request = urllib2.Request("http://www.imdb.com/register/login", data)
url = urlOpener.open(request)  # Our cookiejar automatically receives the cookies
page = url.read(500000)

# Make sure we are logged in by checking the presence of the cookie "id".
# (which is the cookie containing the session identifier.)
if not 'id' in [cookie.name for cookie in cookiejar]:
    raise ValueError, "Login failed with login=%s, password=%s" % (login,password)

print "We are logged in !"

# Make another request with our session cookie
# (Our urlOpener automatically uses cookies from our cookiejar)
url = urlOpener.open('http://imdb.com/find?s=all&q=grave')
page = url.read(200000)


 

這篇文章主要介紹了python採用requests庫模擬登入和抓取資料的簡單示例，程式碼簡單卻功能強大！需要的朋友可以參考下

 

如果你還在為python的各種urllib和urlibs，cookielib 頭疼，或者還還在為python模擬登入和抓取資料而抓狂，那麼來看看我們推薦的requests，python採集資料模擬登入必備利器！

這也是python推薦的HTTP客戶端庫：

本文就以一個模擬登入的例子來加以說明，至於採集大家就請自行發揮吧。

程式碼很簡單，主要是展現python的requests庫的簡單至極，程式碼如下：

s = requests.session()
 data = {'user':'使用者名稱','passdw':'密碼'} 
#post 換成登入的地址， 
res=s.post('http://www.xxx.net/index.php?action=login',data); 
#換成抓取的地址 
s.get('http://www.xxx.net/archives/155/');


 有幾種方法。一種是設定環境變數http_proxy，它會自動訪問這個。 另外一種是你使用urllib2的時候，在引數里加上代理。還有一個是urllib上指定。

比如


 

import urllib
urllib.urlopen(某網站，proxyes={'http:':"某代理IP地址:代理的埠"})


 

proxy_handle = urllib.request.ProxyHandler({'http':random.choice(proxy_list)})
opener = urllib.request.build_opener(proxy_handle)
response = opener.open(url)

實驗室使用代理上網，因此如果使用Python寫程式訪問網路的話就必須設定代理。

Python3將urllib和urllib2合二為一，而且重組了下包結構。網上很多的程式碼都是Python2的，所以自己看了下文件。

但是問題還是有的，根據http://markmail.org/thread/vzegucz53ouwykz4#query:+page:1+mid:2pluljbacgfwte3j+state:results中所述，urllib2 只支援 HTTP_GET 的代理，而CCProxy只支援HTTP_Connect的代理，因此如果上網的話就不能使用CCProxy作為代理了。

import urllib.request  
	proxy_handler = urllib.request.ProxyHandler({'http':'123.123.2123.123:8080'})  
proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()  
proxy_auth_handler.add_password('realm', '123.123.2123.123', 'user', 'password')  
opener = urllib.request.build_opener(urllib.request.HTTPHandler, proxy_handler)  
f = opener.open('http://www.baidu.com')   
a = f.read()


 



相關文章