python爬蟲小專案--飛常準航班資訊爬取variflight(上)
很久不更新部落格,分享下最近一個小專案 飛常準 。飛常準是飛友科技旗下一個航班資訊資料網路品牌。主要為使用者提供航空相關資料。目前核心業務為航班動態和便宜機票搜尋引擎。飛友科技旗下總有飛友網、飛常準、VariFlight、AirTu等品牌。
廢話不多說,開始搞事情。
分析頁面,首頁有航班號和升降地有列表,要怎麼下手呢?等下,怎麼資料這麼少。
哈哈。找到列表入口url
上程式碼請求看有沒有資料,個人喜好,也可以在瀏覽器network和其他工具看。
漂亮!
踩坑了,有的城市沒有航班,還加入起降列表中,體驗非常不好,都沒有為我們爬蟲的考慮下,正想著拿起電話打4006-350-787給官網反饋這BUG!
嗯嗯,想下畢竟俺也是有修養的程式設計師,經過兩個小時的發呆,終於把情緒控制住了。繼續看看。
突然想起xpath外掛,我真是太有材了,按捺不住心中的喜悅,忍不住,來music 蹦了個迪。一個小時又過去。
頓時,領導過來,又被狂虐一把,嗚嗚嗚
continue
挖去,實際起飛時間,實際到達時間,準點率,怎麼是個連線。
居然和去哪網一樣使用了的字型反爬變身術。
不慌穩住,作為黑寡婦稱號的spider工程師,這些淫蟲小雞,噢,不,應該是雕蟲小技,還想攔住我。
使用OCR即可(目前最好的開源谷歌影像識別工具),字型還這麼工整,還不用收集標本訓練呢。爽歪歪。
自己以為的,永遠都是自己以為的。
開啟圖片的連線
頓時 飛友的前端反爬工程師肯定是上昂著圓潤嘴角裸露絲絲微笑
繼續發呆,狂抓腦袋數小時,抓掉998跟頭髮的時候,突然讓我想起試下手機wap版,點開chrome toggle device toolbar
居然是wap版本就是電腦的縮小版
使用手機APP抓包大法。
平時只用電腦的挨踢程式設計師沒有手機這可怎麼辦?
工欲善其事,必先利其器於是,花幾天寫個外掛搶了兩臺小米手機手機。
等著手機開工的啊,再爬不出資料就要被老闆當魷魚樣炒了。
問了那位平時和他聊得比較多,且經常對我眉來眼去的同性同事借了臺手機。
挖去,手機桌布居然是偷拍我背影的圖片,這手機透露著巨大資訊量!!!
頓時看了看他,他給我拋了個媚眼
還是安裝個SDK安卓虛擬機器算了
配好環境,除錯瀏覽器能抓到資料。
居然什麼資料都沒有,一直翻頁都沒有任何資料
就爬那麼一點點資料這麼保密幹嘛!
欲知後事如何,且聽下回分解
後續還會上程式碼和和分析!
更新中!更新中!更新中!
相關文章
- python爬蟲——爬取大學排名資訊Python爬蟲
- 爬蟲小專案爬蟲
- python爬蟲--爬取鏈家租房資訊Python爬蟲
- 網路爬蟲專案開發日誌(三):爬蟲上線準備爬蟲
- Python爬蟲爬取淘寶,京東商品資訊Python爬蟲
- 小白學 Python 爬蟲(25):爬取股票資訊Python爬蟲
- 爬蟲爬取微信小程式爬蟲微信小程式
- Python爬蟲小專案:爬一個圖書網站Python爬蟲網站
- python爬蟲實操專案_Python爬蟲開發與專案實戰 1.6 小結Python爬蟲
- Python爬蟲實戰:爬取淘寶的商品資訊Python爬蟲
- Java爬蟲-爬取疫苗批次資訊Java爬蟲
- 爬蟲小專案(一)淘寶爬蟲
- python爬蟲初探--第一個python爬蟲專案Python爬蟲
- Python網路爬蟲實戰小專案Python爬蟲
- Python爬蟲專案整理Python爬蟲
- python爬蟲---網頁爬蟲,圖片爬蟲,文章爬蟲,Python爬蟲爬取新聞網站新聞Python爬蟲網頁網站
- python爬蟲簡歷專案怎麼寫_爬蟲專案咋寫,爬取什麼樣的資料可以作為專案寫在簡歷上?...Python爬蟲
- 【爬蟲】爬蟲專案推薦 / 思路爬蟲
- 爬蟲專案爬蟲
- python爬蟲58同城(多個資訊一次爬取)Python爬蟲
- Python爬蟲教程-31-建立 Scrapy 爬蟲框架專案Python爬蟲框架
- github上的python爬蟲專案_GitHub - ahaharry/PythonCrawler: 用python編寫的爬蟲專案集合GithubPython爬蟲
- python爬蟲-33個Python爬蟲專案實戰(推薦)Python爬蟲
- Python網路爬蟲實戰專案大全 32個Python爬蟲專案demoPython爬蟲
- python 爬蟲實戰專案--爬取京東商品資訊(價格、優惠、排名、好評率等)Python爬蟲
- 【Python學習】爬蟲爬蟲爬蟲爬蟲~Python爬蟲
- 專案--python網路爬蟲Python爬蟲
- 網路爬蟲(python專案)爬蟲Python
- 33個Python爬蟲專案Python爬蟲
- Python簡單爬蟲專案Python爬蟲
- Python爬蟲入門專案Python爬蟲
- python 爬蟲 爬取 learnku 精華文章Python爬蟲
- python爬蟲--招聘資訊Python爬蟲
- 爬蟲專案(一)爬蟲+jsoup輕鬆爬知乎爬蟲JS
- python爬蟲例項專案大全-GitHub 上有哪些優秀的 Python 爬蟲專案?Python爬蟲Github
- 送給Python小白學習爬蟲的小專案Python爬蟲
- 爬蟲專案部署爬蟲
- 建立爬蟲專案爬蟲