Cloudflare網址掃描器

PetterLiu發表於2024-08-01
Cloud

Cloudflare URL Scanner（Cloudflare 網址掃描器）是 Cloudflare 提供的一項服務，它可以幫助網站管理員和使用者檢測和預防惡意軟體、釣魚網站和其他網路安全威脅。這項服務通常整合在 Cloudflare 的安全產品中，使用場景包括但不限於：

  1. 網站安全監測：自動掃描網站連結，檢測是否含有惡意軟體或被標記為釣魚網站。
  2. 使用者保護：當使用者訪問可能存在風險的網站時，Cloudflare URL Scanner 可以提供警告，防止使用者受到網路攻擊。
  3. 合規性檢查：幫助企業確保其網站遵守相關的安全標準和法規要求。
  4. 品牌保護：防止惡意網站使用相似的域名來誤導使用者，損害品牌聲譽。
  5. 資料洩露預防：透過掃描連結，預防資料洩露和未授權訪問。

Cloudflare 的 URL Scanner 透過與多個安全提供商合作，使用實時更新的威脅情報資料庫來識別和阻止惡意活動。這使得 Cloudflare 的使用者能夠享受到更高階別的網路安全保護。


示例

訪問https://radar.cloudflare.com/scan

我們掃描某國內網站

如下總結報告

image


安全

image

技術棧檢測

image

效能

image


使用API 掃描


使用 API 進行首次 URL 掃描，您必須獲取 URL 掃描器特定的API 令牌。在許可權組中使用帳戶> URL 掃描器建立自定義令牌，然後選擇編輯作為訪問級別。

一旦您有了令牌，並且知道了您的account_id，您就可以向 的 API 發出第一個請求https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/。

提交 URL 進行掃描

為了提交要掃描的 URL，唯一需要的資訊是POST請求正文中要掃描的 URL：

curl "https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/scan" \
--header "Authorization: Bearer <API_TOKEN>" \
--header "Content-Type: application/json" \
--data '{
  "url": "https://www.example.com"
}'

預設情況下，報告將具有Public可見性級別，這意味著它將出現在最近的掃描列表和搜尋結果中。它還將包含具有桌面解析度的單個螢幕截圖。

成功響應的狀態程式碼為200，類似於以下內容：

{
  "errors": [],
  "messages": [{
      "message": "Submission successful"
  }],
  "result": {
    "time": "2022-09-15T00:00:00Z",
    "url": "https://www.example.com",
    "uuid": "095be615-a8ad-4c33-8e9c-c7612fbf6c9f",
    "visibility": "Public"
  },
  "success": true
}

上述響應中的屬性result.uuid標識了掃描，在獲取掃描報告時需要該屬性。

提交自定義 URL 掃描

以下是帶有一些自定義配置選項的示例請求正文：

{
	"url": "https://example.com",
	"screenshotsResolutions": [
		"desktop", "mobile", "tablet"
	],
	"customHeaders": {
		"user-agent": "My-custom-user-agent",
	},
	"visibility": "Unlisted"
}

上面的可見性級別設定為Unlisted，這意味著掃描報告不會包含在最近掃描列表或搜尋結果中。實際上，只有知道掃描 ID 的使用者才能訪問它。

還將擷取三張網頁截圖，每種目標裝置型別一張。HTTPUser-Agent標頭將設定為“My-custom-user-agent”。請注意，您可以設定任何自定義 HTTP 標頭，包括Authorization。

獲取掃描報告

一旦 URL 掃描提交完成，即可透過呼叫 檢查當前進度https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/scan/{scan_id}。scan_id將是result.uuid上一個響應中返回的值。

掃描過程中，HTTP 狀態程式碼為202，掃描完成後為200。建議客戶端每 10-30 秒輪詢一次。

回應將包括以下頂級房產result.scan：

  • task- 有關掃描提交的資訊。
  • page- 與主要請求（例如響應 cookie）和網頁本身（例如控制檯訊息）相關的資訊。
  • meta- 元處理器輸出包括檢測到的技術、類別、等級等。
  • ips- 已聯絡的 IP。
  • asns- 已聯絡 AS 號碼。
  • geo- 從聯絡的 IP 得出的​​ GeoIP 資訊。
  • domains- 聯絡的主機名，包括dns記錄資訊。
  • links- 在 DOM 中檢測到傳出連結。
  • performance- 介面給出的時間PerformanceNavigationTiming。
  • certificates- HTTP 響應的 TLS 證書。
  • verdicts- 對惡意內容的判定。

一些更具體的屬性的示例包括：

  • task.uuid- 掃描的ID。
  • task.effectiveUrl- 所有 HTTP 重定向之後的主要請求的 URL。
  • task.success- 掃描是否成功。掃描可能因多種原因而失敗，包括 DNS 錯誤。
  • task.status- 當前掃描狀態，例如Queued、InProgress或Finished。
  • meta.processors.categories- 聯絡的主要主機名的 Cloudflare 類別。
  • meta.processors.securityRiskCategories- Cloudflare 類別，代表所聯絡的主要主機名的安全風險。
  • meta.processors.phishing- 檢測到了何種型別的網路釣魚（如果有）。
  • meta.processors.rank-聯絡的主要主機名的Cloudflare Radar 排名。
  • meta.processors.tech- 在Wappalyzer的幫助下，檢測到該網站正在使用哪些技術。
  • page.country- 聯絡的主要 IP 地址的 GeoIP 國家名稱。
  • page.cookies- 由頁面設定的 Cookie。
  • page.console- JavaScript 控制檯訊息
  • page.js.variables- 非標準 JavaScript 全域性變數。
  • page.securityViolations- {{}}CSP{{}} 或SRI違規。
  • verdicts.overall.malicious-掃描時該網站是否被視為惡意網站。請檢查每個子系統的其餘屬性以查詢檢測到的特定威脅。

獲取 URL 掃描API 端點文件包含完整的響應模式。

為了獲取掃描的螢幕截圖或完整的網路日誌，請訪問相應端點的文件。

搜尋掃描

Public還可以搜尋掃描。為了搜尋對主機名的掃描google.com，請使用查詢引數page_hostname=google.com：

curl "https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/scan?page_hostname=google.com" \
--header "Authorization: Bearer <API_TOKEN>"

搜尋結果還將包括您自己的 Unlisted掃描結果。

相反，如果您想搜尋至少向主機名發出一次請求的掃描cdnjs.cloudflare.com（例如，使用託管在的 JavaScript 庫的站點cdnjs.cloudflare.com ），請使用查詢引數hostname=cdnjs.cloudflare.com：

curl "https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/scan?hostname=cdnjs.cloudflare.com" \
--header "Authorization: Bearer <API_TOKEN>"


今天先到這兒，希望對AIGC，雲原生，技術領導力， 企業管理，系統架構設計與評估，團隊管理, 專案管理, 產品管理，資訊保安，團隊建設 有參考作用 , 您可能感興趣的文章:
構建創業公司突擊小團隊
國際化環境下系統架構演化
微服務架構設計
影片直播平臺的系統架構演化
微服務與Docker介紹
Docker與CI持續整合/CD
網際網路電商購物車架構演變案例
網際網路業務場景下訊息佇列架構
網際網路高效研發團隊管理演進之一
訊息系統架構設計演進
網際網路電商搜尋架構演化之一
企業資訊化與軟體工程的迷思
企業專案化管理介紹
軟體專案成功之要素
人際溝通風格介紹一
精益IT組織與分享式領導
學習型組織與企業
企業創新文化與等級觀念
組織目標與個人目標
初創公司人才招聘與管理
人才公司環境與企業文化
企業文化、團隊文化與知識共享
高效能的團隊建設
專案管理溝通計劃
構建高效的研發與自動化運維
某大型電商雲平臺實踐
網際網路資料庫架構設計思路
IT基礎架構規劃方案一(網路系統規劃)
餐飲行業解決方案之客戶分析流程
餐飲行業解決方案之採購戰略制定與實施流程
餐飲行業解決方案之業務設計流程
供應鏈需求調研CheckList
企業應用之效能實時度量系統演變

如有想了解更多軟體設計與架構, 系統IT,企業資訊化, 團隊管理 資訊，請關注我的微信訂閱號：

image_thumb2_thumb_thumb_thumb_thumb[1]

作者：Petter Liu
出處：http://www.cnblogs.com/wintersun/
本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連線，否則保留追究法律責任的權利。 該文章也同時釋出在我的獨立部落格中-Petter Liu Blog。

相關文章