python爬取不到資料的可能原因之一
自學Python爬蟲,感覺自己的程式碼沒有什麼問題,但是輸出卻沒有結果,一開始陷入了沉思,偶然想起,很多網站為了反爬蟲,對於沒有“頭”的爬蟲,網站會拒絕請求。於是,抱著試一試的態度,新增了爬蟲的“頭”,結果能夠正常顯示。
這裡我是在嘗試抓取“瞬眼天下”網頁的小標題,程式碼如下:
#爬取順眼天下網頁一頁的標題
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
resp=requests.get('http://www.tmtpost.com/nictation/1',headers=headers)
soup=BeautifulSoup(resp.text,'lxml')
alla=soup.find_all('h2',class_='w_tit')
for a in alla:
t=a.find('a')
print(t.get_text())
我一開始的程式碼是這樣的:
#爬取瞬眼天下網頁一頁的標題
import requests
from bs4 import BeautifulSoup
resp=requests.get('http://www.tmtpost.com/nictation/1')
soup=BeautifulSoup(resp.text,'lxml')
alla=soup.find_all('h2',class_='w_tit')
for a in alla:
t=a.find('a')
print(t.get_text())
即,缺少了headers的相關資訊
相關文章
- 房產資料爬取、智慧財產權資料爬取、企業工商資料爬取、抖音直播間資料python爬蟲爬取Python爬蟲
- Python:爬取疫情每日資料Python
- python爬蟲抓取資料時失敗_python爬蟲 大佬 請教下 為什麼爬取的資料有時能爬到 有時有爬不到, 程式碼如下:...Python爬蟲
- 利用Python爬蟲爬取天氣資料Python爬蟲
- Servlet Cookie取不到值原因ServletCookie
- 輕鬆利用Python爬蟲爬取你想要的資料Python爬蟲
- Python爬取CSDN部落格資料Python
- Python爬取噹噹網APP資料PythonAPP
- 使用 Python 爬取網站資料Python網站
- 利用python爬取某殼的房產資料Python
- python爬蟲總是爬不到資料,你需要解決反爬蟲了Python爬蟲
- python爬取股票資料並存到資料庫Python資料庫
- Python爬蟲框架:scrapy爬取高考派大學資料Python爬蟲框架
- Python爬蟲入門【3】:美空網資料爬取Python爬蟲
- Python 爬取 baidu 股票市值資料PythonAI
- python爬取58同城一頁資料Python
- python初學-爬取網頁資料Python網頁
- Python 爬取網頁資料的兩種方法Python網頁
- 爬取高考資料
- Python如何爬取實時變化的WebSocket資料PythonWeb
- 利用python爬取58同城簡歷資料Python
- python網路爬蟲(7)爬取靜態資料詳解Python爬蟲
- 利用python編寫爬蟲爬取淘寶奶粉部分資料.1Python爬蟲
- Python爬蟲訓練:爬取酷燃網視訊資料Python爬蟲
- python爬蟲 爬取豆瓣電影 1-10 ajax 資料Python爬蟲
- Oracle資料庫導致效能問題的可能原因Oracle資料庫
- Python資料爬蟲學習筆記(11)爬取千圖網圖片資料Python爬蟲筆記
- 歷史股票資料的爬取
- 怎樣高效的爬取資料?
- 使用Python進行Web爬取和資料提取PythonWeb
- python更換代理爬取豆瓣電影資料Python
- Python爬取微博資料生成詞雲圖片Python
- Python爬蟲之小說資訊爬取與資料視覺化分析Python爬蟲視覺化
- Python網路爬蟲第三彈《爬取get請求的頁面資料》Python爬蟲
- Python爬蟲經常爬不到資料,或許你可以看一下小編的這篇文章Python爬蟲
- python爬蟲之一:requests庫Python爬蟲
- [python爬蟲] BeautifulSoup爬取+CSV儲存貴州農產品資料Python爬蟲
- 一個月入門Python爬蟲,輕鬆爬取大規模資料Python爬蟲