Python爬蟲之Js逆向案例-拼多多商品詳情資料&商品列表資料&商品優惠券資料

#  Python爬蟲之Js逆向案例-拼多多商品詳情資料&拼多多商品列表資料&拼多多商品優惠券資料介面返回值說明：

本專案用來抓取拼多多平臺整站實時商品詳情資料資訊、商品列表資訊和商品優惠券資料，資料庫採用Mysql。

爬蟲的核心模組採用WebMagic，主要實現了Pinduoduo PageProcessor類，繼承自PageProcessor。 

採用XPath和CSS Selector兩種模式抽取網頁資訊。如抽取商品頁面使用者連結資訊：

String aHref = html.xpath("div[@class='item']/div[@class='user']/div[@class='u-icon']/a/@href").toString(); 

支援 windoes，mac 作業系統

v1.0版即將上線

關鍵詞+篩選條件 採集 商品資料

店鋪內 條件篩選 採集 商品資料

匯出Excel

採用的是Xpath抽取方式，過程：提取html中class為item的div中的class為user的div中的class為u-icon中的超連結。

封裝介面程式碼教程如下： 

1.請求方式：HTTPS GET POST 

2.請求連結：

3.請求程式碼示例，支援高併發請求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）

# coding:utf-8

"""

Compatible for python2.x and python3.x

requirement: pip install requests

"""

from __future__ import print_function

import requests

# 請求示例 url 預設請求引數已經做URL編碼

url = "

key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=1620002566"

headers = {

    "Accept-Encoding": "gzip",

    "Connection": "close"

}

if __name__ == "__main__":

    r = requests.get(url, headers=headers)

    json_obj = r.json()

    print(json_obj)

4.響應示例因文章篇幅限制，暫不展示全部。