單頁優化主要目標是提高搜尋引擎收錄網頁的概率。但單頁優化也可以禁止蜘蛛/爬蟲來爬某些不想被收錄的頁面。
前段時間發現有些不應收錄的頁面也被收錄，有點小震驚。為什麼會震驚呢？因為，已經在robots.txt和noindex/nofollow元標籤中明確告訴蜘蛛/爬蟲不能爬了。
為什麼設定失效了呢？深入檢查後發現，網站地圖（Sitemap.xml）包括了那些頁面。
原以為，只要在robots.txt和noindex/nofollow元標籤中阻止蜘蛛/爬蟲，會是雙保險。沒想居然還是被收錄了。所以，以後在做網站地圖時，還是得多多檢查，是否包括了那些不應收錄的頁面。
本文來源：伯樂線上
轉載請註明原文來源和連結，否則視為侵權！
