Python爬蟲實戰:爬取淘寶的商品資訊
現如今,我們已經離不開網上購物,作為阿里的發家之作淘寶成為我們現在手機app中的必備軟體,尤其是女生,幾乎每天都要開啟淘寶瀏覽商品資訊,其實使用python可以透過爬蟲可以實現爬取淘寶的商品資訊,本文將分步驟向大家介紹Python爬蟲爬取淘寶的商品資訊的過程。
1、匯入需要的包
import timefrom bs4 import BeautifulSoupfrom selenium import webdriver
2、編輯淘寶資料抓取的函式邏輯
# 編輯淘寶資料抓取的函式邏輯 """ 1.登入淘寶 2.首頁 3.指定商品的搜尋資訊 4.提取指定商品的金額、購買人數、商鋪地址、商品名稱、商品圖片 """
3、開啟淘寶網頁,並掃碼登陸點選淘寶網首頁
def login_info(self): # 1.開啟網頁 self.browser.get(self.url) # 2.透過掃碼的形式去登入淘寶賬號 if self.browser.find_element_by_xpath('//*[@id="login"]/div[1]/i'): self.browser.find_element_by_xpath('//*[@id="login"]/div[1]/i').click() # 讓程式等待休眠5秒,透過手機掃碼登入 time.sleep(8) # 3.點選淘寶網首頁 taobao_index = self.browser.find_element_by_xpath('//*[@id="J_SiteNavHome"]/div/a') taobao_index.click() time.sleep(1)
4、自動的在淘寶首頁中輸入自己想要搜尋的商品名稱,並且自動點選搜尋
search_input = self.browser.find_element_by_xpath('//*[@id="q"]') shop_name = input("請輸入你想搜尋的商品名稱:") search_input.send_keys(shop_name) time.sleep(0.5) search_submit = self.browser.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button') search_submit.click()
5、獲取商品資訊
# 商品金額 shop_price_data = shop_data.find_all('div', class_='price g_price g_price-highlight') for shop_price in shop_price_data: shop_price_list.append(shop_price.text.strip()) # 購買人數 shop_people_number_data = shop_data.find_all('div','deal-cnt') for shop_people_number in shop_people_number_data: shop_people_list.append(shop_people_number.text) # 店鋪地區 shop_location_data = shop_data.find_all('div','location') for shop_location in shop_location_data: shop_location_list.append(shop_location.text)
以上就是Python爬蟲爬取淘寶的商品資訊的分步介紹,大家可以嘗試看看喲~
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/4479/viewspace-2830754/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Python爬蟲爬取淘寶,京東商品資訊Python爬蟲
- 淘寶商品資訊爬取
- [Python3]selenium爬取淘寶商品資訊Python
- 爬蟲例項-淘寶頁面商品資訊獲取爬蟲
- python網路爬蟲--爬取淘寶聯盟Python爬蟲
- Python爬蟲,抓取淘寶商品評論內容!Python爬蟲
- [Python3網路爬蟲開發實戰] 7-動態渲染頁面爬取-4-使用Selenium爬取淘寶商品Python爬蟲
- 利用python編寫爬蟲爬取淘寶奶粉部分資料.1Python爬蟲
- 爬蟲入門之淘寶商品資訊定向爬取!雙十一到了學起來啊!爬蟲
- Java基於API介面爬取淘寶商品資料JavaAPI
- Python 爬蟲實戰之爬拼多多商品並做資料分析Python爬蟲
- Python爬蟲實戰案例-爬取幣世界標紅快訊Python爬蟲
- python 爬蟲實戰專案--爬取京東商品資訊(價格、優惠、排名、好評率等)Python爬蟲
- python爬蟲——爬取大學排名資訊Python爬蟲
- python爬蟲--爬取鏈家租房資訊Python爬蟲
- 爬蟲實戰(一):爬取微博使用者資訊爬蟲
- 【Python爬蟲實戰】使用Selenium爬取QQ音樂歌曲及評論資訊Python爬蟲
- 小白學 Python 爬蟲(25):爬取股票資訊Python爬蟲
- Python爬蟲實戰詳解:爬取圖片之家Python爬蟲
- 爬蟲實戰——58同城租房資料爬取爬蟲
- 爬蟲實戰(二):Selenium 模擬登入並爬取資訊爬蟲
- API商品資料介面呼叫爬蟲實戰API爬蟲
- API商品資料介面呼叫實戰:爬蟲與資料獲取API爬蟲
- python爬蟲實戰:爬取西刺代理的代理ip(二)Python爬蟲
- Python 爬蟲實戰Python爬蟲
- Android 淘寶 爬蟲 學習Android爬蟲
- 淘寶API分享:獲取淘寶商品SKU資訊API
- 蘇寧易購網址爬蟲爬取商品資訊及圖片爬蟲
- Python網路爬蟲之爬取淘寶網頁頁面 MOOC可以執行的程式碼Python爬蟲網頁
- Python【爬蟲實戰】提取資料Python爬蟲
- python爬蟲實戰,爬蟲之路,永無止境Python爬蟲
- Java爬蟲實戰:API商品資料介面呼叫Java爬蟲API
- python 爬蟲實戰的原理Python爬蟲
- Java爬蟲-爬取疫苗批次資訊Java爬蟲
- Python爬蟲實戰之(二)| 尋找你的招聘資訊Python爬蟲
- Python爬蟲實戰案例:取喜馬拉雅音訊資料詳解Python爬蟲音訊
- Python爬蟲入門教程 50-100 Python3爬蟲爬取VIP視訊-Python爬蟲6操作Python爬蟲
- Python爬取鏈家成都二手房源資訊 asyncio + aiohttp 非同步爬蟲實戰PythonAIHTTP非同步爬蟲