網站robots.txt探測工具Parsero
網站robots.txt探測工具Parsero
robots.txt檔案是網站根目錄下的一個文字檔案。robots.txt是搜尋引擎中訪問網站的時候要檢視的第一個檔案。當搜尋引擎訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt。如果存在，搜尋引擎就會按照該檔案中的內容來確定訪問的範圍；如果該檔案不存在，則會夠訪問網站上所有沒有被口令保護的所有頁面。
網站為了防止搜尋引擎訪問一些重要的頁面，會把其所在的目錄放入robots.txt檔案中。所以，探測該檔案，也可以獲取網站的重要資訊。Kali Linux提供一個小工具Parsero，可以探測指定網站的robots.txt檔案，並確認實際可訪問性。
PS：該工具需要使用者使用apt-get命令手動安裝。
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29597077/viewspace-2132766/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- Web網站敏感目錄/內容探測工具 – CansinaWeb網站
- 網頁主動探測工具網頁
- 網頁主動探測工具(修改Bug)網頁
- Webbench網站壓測工具Web網站
- 爬取網站前1_解析網站robots.txt檔案網站
- 網頁主動探測工具-NIO優化網頁優化
- 網頁主動探測工具-使用Reactor模式網頁React模式
- python 探測網站目錄的GUI程式Python網站GUI
- 網站壓力測試工具網站
- 網頁主動探測工具-增加Netty模式網頁Netty模式
- 網站安全測試工具GoLismero網站Go
- Web網站壓力測試工具Web網站
- 網站模糊測試爆破工具Wfuzz網站
- 網路爬蟲小偏方：robots.txt快速抓取網站的小竅門爬蟲網站
- 安全及效能測試工具（網站收集）網站
- 11款網站死鏈檢測工具網站
- 併發網站壓力測試工具網站
- Kali路由策略探測工具————firewalk路由
- 核心探測工具systemtap簡介
- 18個常用的網站效能測試工具網站
- 20個免費的網站測試工具網站
- 工具網站網站
- 藍芽裝置探測工具blueranger藍芽Ranger
- 利用CSP探測網站登陸狀態（alipay/baidu為例）網站AI
- 網站安全漏洞測試對抓包嗅探埠講解網站
- Chrome 76 將防止紐約時報等網站探測隱身模式Chrome網站模式
- iDevice.js能探測訪問網站的iOS裝置IDEdevJS網站iOS
- 禁止蜘蛛/爬蟲：如何配置Robots.txt和網站地圖（Sitemap.xml）爬蟲網站地圖XML
- 網路防嗅探工具SniffJoke
- 網站優化：測試網站速度的8款免費工具推薦網站優化
- 暴力探測藍芽裝置工具redfang藍芽
- 網路資料嗅探工具HexInject
- 網站漏洞檢測工具對CSRF攻擊詳情網站
- 國內免費的網站監控工具測評網站
- 常用的工具網站網站
- 網路圖片嗅探工具driftnet
- 網站滲透測試漏掃工具的應用技巧網站
- 十大搶手的網站壓力測試工具網站