使用Selenium+POI實現Excel自動化批量查單詞

Daniel_D發表於2018-11-23

寫在最前

相信大家都對爬蟲非常熟悉，一般來說，利用HttpClient傳送請求並獲取響應以獲得想要提取的資料應該是最常用的方法。最近工作中頻繁使用了Selenium，在本文中，我們將使用Selenium和POI（讀寫Excel）來完成一個入門級的自動化程式，原始碼地址見附錄。

步驟一覽

使用Maven建立工程，引入Selenium和POI依賴
下載ChromeDriver並配置環境變數
編寫Selenium查詞指令碼
讀寫Excel並儲存
編寫main方法，執行程式

現在開始

使用Maven建立工程，引入Selenium和POI依賴

1.1 下載Maven，配置環境變數

Windows和Mac將Maven目錄地址寫入path即可，具體步驟可百度，Google，十分常見。

1.2 在IDEA中配置Maven

IDEA自帶Maven可能版本非最新，建議自行引入本地最新版本。

1.3 建立工程

建立工程時只要使用最基礎的模板，也就是直接點選next。

1.4 在mvnrepository.com搜尋Selenium,POI和POI-ooxml依賴，將其引入pom.xml,並在右下角點選import change，最終pom.xml加入內容如下：

 <dependencies>
     <!-- https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java -->
     <dependency>
         <groupId>org.seleniumhq.selenium</groupId>
         <artifactId>selenium-java</artifactId>
         <version>3.14.0</version>
     </dependency>
     <!-- https://mvnrepository.com/artifact/org.apache.poi/poi -->
     <dependency>
         <groupId>org.apache.poi</groupId>
         <artifactId>poi</artifactId>
         <version>4.0.0</version>
     </dependency>
     <!-- https://mvnrepository.com/artifact/org.apache.poi/poi-ooxml -->
     <dependency>
         <groupId>org.apache.poi</groupId>
         <artifactId>poi-ooxml</artifactId>
         <version>4.0.0</version>
     </dependency>
 </dependencies>
複製程式碼

下載ChromeDriver並配置環境變數（三選一）

2.1 在映象站下載ChromeDriver，配置環境變數

自行手動下載ChromeDriver後如不配置環境變數，需在程式碼中加上System.setProperty("webdriver.chrome.driver",path); 其中path是你的driver路徑。

2.2 Windows使用choco install直接安裝

2.3 Mac使用brew install cask直接安裝

編寫Selenium查詞指令碼

3.1 建立Search類，編寫setUp方法在setUp中，首先需要初始化WebDriver，然後訪問到有道首頁，搜尋test點選確定並跳轉至搜尋頁，注意在driver訪問此頁面時會彈出廣告，需要一行程式碼來抓取關閉連結關掉廣告，程式碼如下：

//Direct to YoudaoDic homepage, land in the main search page
 public void setUp() {
     //Go to youdao.com
     driver.get(YOUDAO_HOME_URL);
     driver.manage().window().maximize();
     //Go to the main search page
     driver.findElement(By.id(INPUT_HOME_ID)).sendKeys("test");
     driver.findElement(By.xpath(SEARCH_HOME_XPATH)).click();
     driver.findElement(By.xpath(CLOSE_BTN)).click();
 }
複製程式碼

3.2 編寫searchWord指令碼方法

searchWord方法需要傳入你要搜尋的單詞，然後抓取搜尋框，輸入後點選確認。這時你將獲得搜尋詳情的頁面，其中你需要抓取中文翻譯的div並且獲取其中文字，程式碼如下：

//Search word and get the translation
 public String searchword(String s) {
     //Find the input element, input the word and click the button
     WebElement input_search = driver.findElement(By.id(INPUT_SEARCH));
     input_search.clear();
     input_search.sendKeys(s);
     driver.findElement(By.xpath(SEARCH_BTN_XPATH)).click();
     //Get the text inside translation div
     String result = driver.findElement(By.className(TRANSLATION_CLASS)).getText();
     return result;
 }
複製程式碼

讀寫Excel並儲存

4.1 建立Excel檔案並寫入單詞

新建一個Excel，然後在最左邊第一列填入一些單詞，注意，不要有空行，本文程式碼中沒有帶異常處理，空行會報錯。

4.2 編寫Excelio類，編寫read方法

利用poi框架，與普通檔案讀寫異曲同工，程式碼如下：

public Workbook read(int columnIndex, int count) throws IOException {
    FileInputStream fis = null;
    fis = new FileInputStream(new File(path));
    //Input and save as a xlsx workbook
    Workbook workbook = new XSSFWorkbook(fis);
    fis.close();
    return workbook;
}
複製程式碼

4.3 編寫searchWord方法

呼叫Search類的searchWord進行搜尋，然後將獲取到的String寫入Excel，程式碼如下：

//Search the word and write down
 public void searchWord(Workbook workbook, int columnIndex, int count) {
     //Initialize driver
     WebDriver driver = new ChromeDriver();
     Search search = new Search(driver);
     search.setUp();
     //Search for all words in one column and print to another column
     for (int i = 0; i < count; i++) {
         //Get value of the cell and get the translation through search method
         Sheet sheet = workbook.getSheetAt(0);
         Row row = sheet.getRow(i);
         Cell cell = row.getCell(columnIndex);
         String results = search.searchword(cell.getStringCellValue());
         //Write the translation to another column
         Cell temp = row.createCell(columnIndex+1);
         temp.setCellValue(results);
         //Set the new column as "Wrap Text"
         CellStyle cellStyle = workbook.createCellStyle();
         cellStyle.setWrapText(true);
         temp.setCellStyle(cellStyle);
         sheet.setColumnWidth(1,31*256);
     }
複製程式碼

4.4 編寫save方法

使用FileOutputStream，儲存Excel，程式碼如下：

 //Save the change
 public void save(Workbook workbook) throws IOException {
     FileOutputStream outputStream = new FileOutputStream(path);
     workbook.write(outputStream);
     outputStream.close();
     workbook.close();
 }
複製程式碼

編寫main方法，執行程式

編寫入口方法，程式碼如下：

//Entrance
    public static void main(String[] args) throws IOException {
        Excelio excelio = new Excelio("src/main/resources/wordlist/test.xlsx");
        Workbook workbook = excelio.read(0, 30);
        excelio.searchWord(workbook,0,30);
        excelio.save(workbook);
    }
複製程式碼