若有收穫,就點個贊吧
前幾天在Python交流群裡邊有個粉絲問了一個有趣的問題,他需要抓取某款App上的視訊,但是沒有視訊連線,只有視訊的播放量和點贊量,要如何把視訊弄出來呢?
講真的,一開始我也束手無策,不過這次諮詢了一些爬蟲大佬給出了一個方案,以後再也不用擔心抓不到視訊了,下面一起來看看吧。我們可以利用python進行抓取,簡單的獲取示例如下:
#! -*- encoding:utf-8 -*- import requests import random # 要訪問的目標頁面 targetUrl = " # 要訪問的目標HTTPS頁面 # targetUrl = " # 代理伺服器(產品官網 ) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理驗證資訊 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 設定 http和https訪問都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 設定IP切換頭 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text
訪問的目標網站對ip的限制是比較嚴的,所以示例裡面加了代理,選擇的是億牛雲代理的動態轉發模式,使用比較簡單,方便,效果也更穩定,只要涉及到獲取資料肯定是需要用到代理的,有需要的小夥伴可以試試他們家。