很久不更新部落格，分享下最近一個小專案 飛常準 。飛常準是飛友科技旗下一個航班資訊資料網路品牌。主要為使用者提供航空相關資料。目前核心業務為航班動態和便宜機票搜尋引擎。飛友科技旗下總有飛友網、飛常準、VariFlight、AirTu等品牌。

廢話不多說，開始搞事情。

分析頁面，首頁有航班號和升降地有列表，要怎麼下手呢？等下，怎麼資料這麼少。

 

哈哈。找到列表入口url

 

上程式碼請求看有沒有資料，個人喜好，也可以在瀏覽器network和其他工具看。

漂亮！

踩坑了，有的城市沒有航班，還加入起降列表中，體驗非常不好，都沒有為我們爬蟲的考慮下，正想著拿起電話打4006-350-787給官網反饋這BUG！

嗯嗯，想下畢竟俺也是有修養的程式設計師，經過兩個小時的發呆，終於把情緒控制住了。繼續看看。

突然想起xpath外掛，我真是太有材了，按捺不住心中的喜悅，忍不住，來music 蹦了個迪。一個小時又過去。

頓時，領導過來，又被狂虐一把，嗚嗚嗚

continue

挖去，實際起飛時間，實際到達時間，準點率，怎麼是個連線。

居然和去哪網一樣使用了的字型反爬變身術。

不慌穩住，作為黑寡婦稱號的spider工程師，這些淫蟲小雞，噢，不，應該是雕蟲小技，還想攔住我。

使用OCR即可（目前最好的開源谷歌影象識別工具），字型還這麼工整，還不用收集標本訓練呢。爽歪歪。

自己以為的，永遠都是自己以為的。

開啟圖片的連線

頓時  飛友的前端反爬工程師肯定是上昂著圓潤嘴角裸露絲絲微笑

繼續發呆，狂抓腦袋數小時，抓掉998跟頭髮的時候，突然讓我想起試下手機wap版，點開chrome toggle device toolbar

居然是wap版本就是電腦的縮小版

使用手機APP抓包大法。

平時只用電腦的挨踢程式設計師沒有手機這可怎麼辦？

工欲善其事，必先利其器於是，花幾天寫個外掛搶了兩臺小米手機手機。

等著手機開工的啊，再爬不出資料就要被老闆當魷魚樣炒了。

問了那位平時和他聊得比較多，且經常對我眉來眼去的同性同事借了臺手機。

挖去，手機桌布居然是偷拍我背影的圖片，這手機透露著巨大資訊量！！！

頓時看了看他，他給我拋了個媚眼

還是安裝個SDK安卓虛擬機器算了

配好環境，除錯瀏覽器能抓到資料。

居然什麼資料都沒有，一直翻頁都沒有任何資料

就爬那麼一點點資料這麼保密幹嘛！

 

欲知後事如何，且聽下回分解

 

後續還會上程式碼和和分析！

更新中！更新中！更新中！