學習python做爬蟲主要學習哪些內容呢?

　　爬蟲，被稱為網路機器人，現在爬蟲在我們生活中具有非常重要，可以解決很多繁瑣的過程，而python作為爬蟲的首選語言，受到很多人的關注和喜歡。那麼學習python做爬蟲主要學習哪些內容呢?為大家介紹一下。

　　1、需要了解html相關的知識：html是一種標記語言並不是很難學，它是超文字標記語言，標準通用標記語言下一個應用。Python網路爬蟲學習，不需要你深入學習html，只要知道掌握它常用的簡單標籤跟知識點就行。

　　2、urllib、urllib2兩個庫：是進行網頁抓取時候會使用到的，在python中，urllib、urllib2兩個庫不可相互替代，雖然urllib2比urllib增強，但是urllib有urllib2沒有的函式。

　　urllib2，可以用urllib2openurl中設定Request引數，來修改Header頭。當你訪問一個文章，需要更改User Agent，也需要用它。

　　urllib支援設定編碼的函式，urllib.urlencode進行模擬登陸的時候，經常要POST編碼之後的引數，不想要使用第三方進行登陸，你需要使用urllib。

　　3、python scrapy：scrapy是應用最為廣泛的爬蟲框架，沒有之一，也是成熟度最高的框架，可以利用成熟的產品，避免造輪子，可以快速的構建專案。

　　scrapy也是python開發的一個快速、高層次的螢幕抓取和web抓取框架，用於抓取web框架並從頁面提取結構化的資料，用途廣泛，可以應用在資料探勘、監測和自動化測試。