O2O 行業惡意爬蟲主要集中在點評類和團購類公司，其中以爬取商鋪動態資訊和星級評分資訊的點評類資料為主，佔總數的90%以上。

5. 公共行政

公共行政類惡意爬蟲主要集中在法院文書、智慧財產權、企業資訊、信用資訊等常規商業資訊領域，而另一個受爬蟲青睞的是掛號類平臺，從資料來看應該是一些代掛號平臺提供的搶號服務。

6. 運營商

運營商的惡意爬蟲流量主要集中在運營商各種網際網路套餐手機卡的查詢。由於網際網路套餐手機卡存在較高的價效比，因此網路上形成了相關的刷靚號、搶號、代購等產業鏈。

網路上存在多種透過爬蟲技術進行靚號手機號搜尋的工具，選擇手機卡型別，再不斷爬取待售手機號，尋找到符合理想靚號規則的號碼。下圖為某掃號工具截圖，可選擇數十種不同的網際網路套餐卡：

（某手機靚號掃號工具截圖）

7. 自媒體

根據本次統計，自媒體類爬蟲主要集中於微信訂閱號關鍵詞搜尋和文章訪問，分別佔總量的64.91%和20.73%，其他自媒體平臺約佔14.36%。

8. 地圖

地圖類爬蟲比較常規，主要是爬取地理位置周邊商戶詳細資訊為主。

9. SEO

SEO 類惡意爬蟲通常是頻繁搜尋相關詞彙，來影響搜尋引擎的排名。

10. 新聞

新聞類惡意爬蟲主要用於爬取聚合類新聞 APP 及各大門戶的新聞資訊。以搜尋引擎的新聞平臺和聚合類APP的資料為主，傳統門戶類爬蟲較少光顧。

11. 其他

其他主要被爬蟲光顧的領域還有新聞、招聘、問答、百科、物流、分類資訊、小說等，不進行一一列舉。

三、爬蟲來源 IP 分佈

1. 國家分佈

從本次半年度統計捕獲到的爬蟲流量源 IP 來看，大部分都來自國內，超過90%，其次主要來自美國、德國、日本等國家。

將源自國內的資料抽出來進行細分，可以看到，主要來自北京、天津、河北、上海等省市，以上4個地區所佔國內惡意爬蟲流量超70%。這並不是因為爬蟲作者都來自這些地區，而是因為大量的爬蟲部署在租用的 IDC 機房，這些機房大多在發達省市。

3. 網路分佈

該圖是惡意爬蟲源 IP 的網路分佈，可以看到，超過一半來自國內運營商網路，而這其中大比例是源自運營商的 IDC 機房。雲端計算廠商方面，國內主要雲廠商都有上榜。

整體資料來看，惡意爬蟲絕大部分都是來自 IDC 機房，隨著惡意程式雲端化，雲端計算廠商應當對雲資源被濫用的情況進行及時瞭解和處理。

四、爬蟲與反爬蟲的對抗

作為網際網路對抗最激烈的戰場之一，說到爬蟲，就不能不提反爬蟲。當反爬蟲工程師對爬蟲進行了反殺，爬蟲工程師也不會任人宰割，很快又研究出了各種反對抗技術。

1. 對手是誰

爬蟲和反爬蟲的鬥爭由來已久，要想做好反爬蟲，先要知道對手有哪些，才好制定相應的策略。反爬蟲工程師的對手通常來自以下幾類：

➢ 應屆畢業生

每年三月份左右通常會有一波爬蟲高峰，和應屆畢業生（本科、碩士、博士）有關，為了讓論文有資料支撐，他們的爬蟲簡單粗暴，忽略了伺服器壓力，且人數不可預測。

➢ 創業小公司

初創公司缺少資料支撐，為了公司生存問題，爬取別家資料，不過通常持續不久，較易被反爬蟲手段逼退。

➢ 成型的商業對手

反爬蟲工作最大的對手，有錢有人有技術，如果需要，會透過分散式、跨省機房、ADSL 等種種手段進行長期爬取。如果雙方持續對抗，最終的結果可能會是彼此找到平衡點。

➢ 失控爬蟲

許多爬蟲放於伺服器執行後，就被程式設計師忘了，它們或許早已爬不到資料了，但依然會孜孜不倦地消耗伺服器資源，直到爬蟲所在伺服器到期。

2. 技術對抗

猶如安全專家和駭客之爭，爬蟲工程師和反爬蟲工程師也是相愛相殺、你來我往、螺旋上升。經過幾番的技術升級，常用的反爬蟲及對應的反反爬蟲方案如下：

➢ 驗證碼

驗證碼是最常用的反爬蟲措施，但簡單驗證碼透過機器學習自動識別，通常正確率能達到50%以上甚至更高。

複雜驗證碼透過提交到專門的打碼平臺進行人工打碼，依據驗證碼的複雜度，打碼工人平均每碼收1-2分錢。也同樣容易被繞過，使得資料容易被爬取。

➢ 封 IP 

這是最有效也最容易誤殺的方案。該策略建立在 IP 稀有的前提下，目前透過代理池購買或者撥號 VPS 等方式，可以低成本獲取數十萬的 IP 池，導致單純的封IP策略效果越來越差。

➢ 滑塊驗證

滑塊驗證結合了機器學習技術，只需要滑動滑塊，而不用看那些複雜到有時人眼也無法分辨的字母。但由於部分廠商實現時校驗演算法較為簡單，導致經常只需要相對簡單的模擬滑動操作就能繞過，從而使得資料被惡意爬取。

➢ 關聯請求上下文

反爬蟲可以透過 Token 或網路請求上下文是否進行了完整流程的方式來判斷是否真人訪問。但對具有協議分析能力的技術人員來說進行全量模擬並沒有太大困難。

➢ javascript 參與運算

簡單的爬蟲無法進行 js 運算，如果部分中間結果需要 js 引擎對 js 進行解析和運算，那麼就可以讓攻擊者無法簡單進行爬取。但爬蟲開發者依然可以透過自帶 js 引擎模組或直接使用 phantomjs 等無端瀏覽器進行自動化解析。

➢ 提高資料獲取成本

當面對的是職業選手時，只能透過提升對方人力成本來實現，比如程式碼混淆、動態加密方案、假資料等方式，利用開發速度大於分析速度的優勢，來拖垮對方的意志。如果對方咬定不放鬆，那隻能持續對抗，直到一方由於機器成本或人力成本放棄。

當對抗到了這個階段，與安全對抗一樣，技術之爭就進入了鏖戰的「平衡期」，此時反爬蟲工程師對抗掉了大部分的低階玩家，剩下的高階爬蟲工程師也默契的保持一個不給伺服器太大壓力的爬取速度，雙方猶如太極推手，那下一步如何打破這個平衡？

五、對抗新思路：雲端 AI 反爬蟲

爬蟲和反爬蟲的對抗，在雲端計算成為趨勢後，逐漸加入了第三方勢力，雲端計算廠商可直接為企業提供雲端反爬能力，將戰局從反爬蟲與爬蟲的 1v1 變成了企業+雲廠商與爬蟲 的 2v1，助力企業的反爬能力。

尤其是近年來 AI 技術不斷突破，為解決許多問題提供了全新思路。基於這個角度，雲鼎實驗室透過深度學習技術對海量真實惡意爬蟲流量進行分析，認為將 AI 技術引入反爬蟲領域能起到極好的補充效果，將是未來此類對抗領域的趨勢所在。

為此，騰訊雲網站管家 (WAF) 聯合雲鼎實驗室基於海量真實爬蟲流量建立更為通用的爬蟲識別模型，已卓有成效，後續將致力於把最強的識別能力開放給各企業。

騰訊安全雲鼎實驗室主要關注騰訊雲安全體系建設，專注於雲上網路環境的攻防研究和安全運營，以及基於機器學習等前沿技術理念打造雲安全產品。