python實現selenium網路爬蟲

　　selenium最初是一個自動化測試工具，而爬蟲中使用它主要是為了解決requests無法直接執行JavaScript程式碼的問題，selenium本質是透過驅動瀏覽器，完全模擬瀏覽器的操作，比如跳轉、輸入、點選、下拉等，來拿到網頁渲染之後的結果，可支援多種瀏覽器，這裡只用到谷歌瀏覽器。

　　1.selenium初始化

　　方法一：會開啟網頁

　　# 該方法會開啟goole網頁

　　from selenium import webdriver

　　url = '網址'

　　driver = webdriver.Chrome()

　　driver.get(url)

　　driver.maximize_window() # 實現視窗最大化

　　方法二：不會開啟網頁

　　# 該方法會隱式開啟goole網頁

　　from selenium import webdriver

　　url = '網址'

　　driver = webdriver.ChromeOptions()

　　driver.add_argument("headless")

　　driver = webdriver.Chrome(options=driver)

　　driver.get(url)

　　driver = webdriver.Chrome()出錯是因為沒有chromedriver.exe這個檔案

　　2.元素定位

　　在selenium中，可以有多種方法對元素進行定位，個人通常喜歡用Xpath和selector來定位元素，這樣就不用一個一個的去找節點，直接在網頁上定位到元素複製就行。

　　driver.find_element_by_id() # 透過元素ID定位

　　driver.find_element_by_name() # 透過元素Name定位

　　driver.find_element_by_class_name() # 透過類名定位

　　driver.find_element_by_tag_name() # 透過元素TagName定位

　　driver.find_element_by_link_text() # 透過文字內容定位

　　driver.find_element_by_partial_link_text()

　　driver.find_element_by_xpath() # 透過Xpath語法定位

　　driver.find_element_by_css_selector() # 透過選擇器定位

　　注：若尋找多個元素，要記得用複數來選擇(element改為elements)

　　# 例如

　　[i.text for i in driver.find_elements_by_xpath()]

　　3.建立點選事件

　　因為有些網站的需求，需建立點選事件，

　　如下圖的這種時間選擇，需要設定點選和輸入內容，設定的方法也很簡單。

　　 大連人流醫院哪家好

　　driver.find_element_by_css_selector('').click() # 點選

　　driver.find_element_by_css_selector('').send_keys('2021-3-9') # 輸入內容

　　4.切換視窗

　　有些網站點選之後會產生新視窗，這時就需要進行視窗的切換才能進行元素定位

　　win = driver.window_handles # 獲取當前瀏覽器的所有視窗

　　driver.switch_to.window(win[-1]) # 切換到最後開啟的視窗

　　driver.close() # 關閉當前視窗

　　driver.switch_to.window(win[0]) # 切換到最初的視窗

　　5.iframe問題

　　有些網站會採用iframe來編寫頁面，這時就需要進入到iframe才可以獲取元素，一般有多少個iframe就需要進入多少個iframe。

　　# 有兩個iframe，需逐步進入

　　iframe1 = driver.find_element_by_xpath('')

　　driver.switch_to.frame(iframe1)

　　iframe2 = driver.find_element_by_xpath('')

　　driver.switch_to.frame(iframe2)