py27+selenium+chrome(headless)
偶然因工作需要,在爬取資料時 selenium+phantomJS 並不能做到我們想要的效果(猜想可能phantomJS被機智的同行檢測出來遮蔽掉了)
所以使用了效率較低的chromedriver,因為有介面顯示,所以會佔用大量的記憶體導致效率降低。
進而想到我們的GOOGLE爸爸是不是有phantomJS的headless方法呢?
在查閱GOOGLE的一些相關文件後發現chrome版本60以上是支援headless的,但是並沒有在WIN環境下呼叫的介紹。
於是與同組大神(XWY!)研究一番,總算找到了可行的辦法。(測試通過環境win7+py27+driver version 2.30+chrome version 60.0 下附有連結)
其中呼叫headless的Chrome程式碼如下:
程式碼短短几行,但是很好的解決了我們遇到的問題。
(為個人學習、研究或者欣賞,使用此文的,需要標明作者、出處等資訊。)
附上driver連結: http://chromedriver.storage.googleapis.com/index.html?path=2.30/
chrome連結:http://www.baidu.com/link?url=bdgjznXlke4c3FM6wUm5H8dQA1IS_qnt7zHEJ7Wt5cwKJ0awY5xMf3VGFOuoSx1rV1PhYgCHi8Qm5pwF5MYIK0KAvCyPaghK0pvdFySTwQu&wd=&eqid=cb1201c5000285400000000259ae6802
相關文章
- OrchardCore Headless建站
- 【Java】The Java Headless ModeJava
- java.awt.headless 模式Java模式
- Headless靶機筆記筆記
- OrchardCore Headless建站拾遺
- python selenium 用法 和 Chrome headlessPythonChrome
- 如何理解前端專案中的 Headless?前端
- 什麼是無頭電商 - headless commerce
- python + selenium + chrome headless 的一些備忘PythonChrome
- 例項:使用puppeteer headless方式抓取JS網頁JS網頁
- 在K8S中,什麼是 Headless Service?K8S
- Serverless 實戰——使用 Rendertron 搭建 Headless Chrome 渲染解決方案ServerChrome
- Selenium Headless模式:無頭瀏覽器的使用與優勢模式瀏覽器
- Headless CMS 作為多站點管理的制勝策略 - DatoCMS
- statefulset詳解及為何結合headless service部署有狀態應用
- 手把手教你用node擼一個簡易的headless爬蟲cli工具爬蟲
- [譯] JavaScript 自動化爬蟲入門指北(Chrome + Puppeteer + Node JS):和 Headless Chrome 一起裝逼一起飛JavaScript爬蟲ChromeJS