本文包括了為初學者和小專案而設計的簡單工具,還有需要一定的編碼知識,旨在用於更大,更困難的任務的高階工具。
收集電子郵件地址、競爭分析、網站檢查、定價分析和客戶資料收集 — 這些可能只是你需要從 HTML 文件中提取文字和其他資料的幾個原因。不幸的是,手動做這種事是很痛苦的而且效率很低,在某些情況下甚至不可能實現。幸運的是,現在有各種各樣的工具可以實現這些需求。下面的 7 個工具包括了由為初學者和小專案而設計的非常簡單的工具到需要一定的編碼知識,旨在用於更大,更困難的任務的高階工具。
Iconico HTML 文字提取器 (Iconico HTML Text Extractor)
試想一下,你正在瀏覽競爭對手的網站,然後想提取出文字內容,又或是想看看頁面背後的 HTML 程式碼。但十分不幸,你發現右鍵被禁用了,複製和貼上也是如此。現在許多 Web 開發人員正在採取措施禁用檢視原始碼,否則鎖定其頁面。幸運的是,Iconico 有一個 HTML 文字提取器,你可以用來繞過所有的這些限制,而且這個產品非常易於使用。你可以高亮和複製文字,提取功能的執行使用輕易得像上網一樣。
UiPath
UIPath 有一套自動化過程工具,裡面包含了一個 Web 內容抓取實用程式。要使用該工具,並獲得所需的幾乎任何資料十分簡單 — 只需開啟頁面,轉到工具中的設計選單,然後單擊“網路抓取(web scraping)”。 除了網路抓取工具,螢幕抓取工具允許您從網頁中拉取任何內容。 使用這兩種工具意味著您可以從任何網頁抓取文字,表格資料和其他相關資訊。
Mozenda
Mozenda 允許使用者提取 Web資料,並將該資訊匯出到各種智慧商務工具。它不僅可以提取文字內容,還可以從 PDF 檔案中提取出影象,檔案和內容。然後,你可以將這些資料匯出到 XML 檔案,CSV 檔案,JSON 或者可以選擇使用 API。 提取和匯出資料後,就可以使用 BI 工具進行分析和報告。
HTMLtoText
這款線上工具可以從 HTML 原始碼中提取文字,甚至只是一個 URL 也可以。你所需要做的只是複製和貼上,提供一個 URL 或者上傳檔案。 單擊選項按鈕,讓工具知道你需要的輸出格式和一些其他的細節,然後點選轉換,你將獲得你需要的文字資訊。
(還有一個類似的工具 — www.htmlnest.com/htmltotext.aspx)
Octoparse
Octoparse 的特徵是它提供的是“點選”使用者介面。即便是沒有過編碼知識的使用者也可以從網站提取資料並將其傳送到各種檔案格式。這個工具包括從頁面中提取電子郵件地址,從招聘板上提取職位列表等功能。該工具適用於動態和靜態網頁以及雲採集(配置好採集任務關機也能採集資料)。它提供了一個免費版本,對於大多數使用場景應該足夠應付,而付費版本則有更多豐富的功能。
如果你是為了進行競爭分析而抓取網站,可能會因為此活動而被禁止。因為 Octoparse 包含一個迴圈識別你的 IP 地址的功能,並能通過你的 IP 禁止你使用。
Scrapy
這個免費的開源工具使用網路爬蟲從網站提取資訊,使用這個工具需要一些高階技能和編碼知識。但如果你願意以你的方式去學習使用它,Scrapy 是抓取大型 Web 專案的理想選擇。該工具已被 CareerBuilder 和其他主要品牌使用。因為它是一個開源工具,所以這為使用者提供了很多良好的社群支援。
Kimono
Kimono 是一個免費的工具,從網頁獲取非結構化資料,並將該資訊提取為具有 XML 檔案的結構化格式。該工具可以互動使用,也可以建立計劃作業以在特定時間提取你需要的資料。你可以從搜尋引擎結果、網頁、甚至幻燈片演示中提取資料。最重要的是,當你設定好每個工作流時,Kimono 會建立一個 API。這意味著當你返回到網站以提取更多資料時,不必再重新造輪子。
結論
如果你遇到需要從一個或多個網頁中提取非結構化資料的任務,那麼此列表中至少有一個工具應該包含你需要的解決方案。而且無論你的期望價格是什麼,你都應該能找到你所需要的工具。瞭解清楚然後決定哪個是最適合你的。要知道,大資料在企業蓬勃發展中的重要性,並且收集所需資訊的能力對於你來說也是至關重要。