Lua-http庫寫一個爬蟲程式怎麼樣 ?
-- 匯入所需的庫local http = require("http")local json = require("json")-- 定義爬蟲IP伺服器local proxy = "定義要抓取的網站local target_url = "https://"-- 定義要抓取的頁面和元素local start_url = "https:///add"local elements = { {"username", "/input[@name='username']/"}, {"password", "/input[@name='password']/"}, {"submit", "/button[@name='submit']/"}}-- 初始化爬蟲local function crawl() -- 使用爬蟲IP伺服器請求目標URL local response = http.request({ url = target_url, method = "GET", headers = { ["Proxy-Authorization"] = "Basic dXNlcm5hbWU6cGFzc3dvcmQ=", ["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" }, ssl = { proxy = proxy, verify = not not proxy } }) -- 檢查響應狀態 if response.status == 200 then -- 解析HTML local html = response.read("*a") local document = json.decode(html) -- 遍歷頁面上的所有元素 for _, element in ipairs(elements) do -- 提取元素的內容 local content = document[element[2]].innertext -- 輸出內容 print(content) end else -- 輸出錯誤資訊 print("Error: " .. response.status .. " " .. response.reason) endend-- 開始爬蟲crawl()
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70034537/viewspace-2990127/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 編寫一個使用wreq庫的爬蟲程式爬蟲
- 如何編寫一個Perl爬蟲程式爬蟲
- 基於 Lua 寫一個爬蟲程式爬蟲
- 面試—html語義化,SEO的原理,什麼是爬蟲、怎麼去寫一個爬蟲面試HTML爬蟲
- 什麼是爬蟲?Python爬蟲的工作流程怎樣?爬蟲Python
- python簡介怎麼寫-python爬蟲簡歷怎麼寫Python爬蟲
- 反-反爬蟲:用幾行程式碼寫出和人類一樣的動態爬蟲爬蟲行程
- 寫個爬蟲唄爬蟲
- python爬蟲簡歷專案怎麼寫_爬蟲專案咋寫,爬取什麼樣的資料可以作為專案寫在簡歷上?...Python爬蟲
- 如何自己寫一個網路爬蟲爬蟲
- 寫爬蟲,不會正則怎麼行?爬蟲
- python反爬蟲可以做些什麼?前景怎麼樣?Python爬蟲
- 新一代爬蟲平臺!不寫程式碼即可完成爬蟲...爬蟲
- 從零開始寫一個node爬蟲(一)爬蟲
- 怎麼使用爬蟲爬蟲
- 不用寫程式碼的爬蟲爬蟲
- 爬蟲的代理ip怎麼用程式碼爬蟲
- 想做個防爬蟲的功能怎麼做爬蟲
- 使用python的scrapy來編寫一個爬蟲Python爬蟲
- 使用nodeJS寫一個簡單的小爬蟲NodeJS爬蟲
- 什麼是網路爬蟲?為什麼用Python寫爬蟲?爬蟲Python
- 爬蟲代理怎麼用爬蟲
- python爬蟲是什麼?為什麼用python語言寫爬蟲?Python爬蟲
- Python為什麼叫爬蟲?Python為什麼適合寫爬蟲?Python爬蟲
- 使用JavaScript編寫的爬蟲程式JavaScript爬蟲
- 教你如何編寫第一個簡單的爬蟲爬蟲
- 爬蟲:多程式爬蟲爬蟲
- python爬蟲怎麼翻頁Python爬蟲
- 爬蟲代理怎麼選ip爬蟲
- python爬蟲初探--第一個python爬蟲專案Python爬蟲
- 如何使用fasthttp庫的爬蟲程式ASTHTTP爬蟲
- 精通Scrapy網路爬蟲【一】第一個爬蟲專案爬蟲
- 一天時間入門python爬蟲,直接寫一個爬蟲案例,分享出來,很簡單Python爬蟲
- 個人利用Python爬蟲技術怎麼掙錢Python爬蟲
- 爬蟲被封怎麼辦?用Node構建一個私人IP代理池爬蟲
- 你有自己寫過爬蟲的程式嗎?說說你對爬蟲和反爬蟲的理解?爬蟲
- python與nodejs寫爬蟲你更傾向於哪個一個?PythonNodeJS爬蟲
- 爬蟲用什麼庫更事半功倍?爬蟲