全球IP的whois資訊獲取與情報挖掘
什麼是whois資訊?
Whois是一種網路協議,也是一種網路服務,能夠讓客戶端查詢域名或者IP是否註冊,以及註冊人的相關資訊。我們通常所說的whois資訊就是透過whois查詢到的資訊。IP whois資訊即是IP的是否註冊使用以及註冊人(或機構)的資訊。
全球的IP地址的分配都由國際組織ICANN(網際網路名稱與數字地址分配機構)進行分配和管理。由於網際網路最早由美國發明出來,所以最早的負責分配IP地址的機構是IANA(網際網路號碼分配機構)。1998年12月ICANN與IANA簽訂協議,正式將IANA組織納入到ICANN旗下。
ICANN是網際網路名稱與數字地址分配機構。ICANN 總部位於加利福尼亞州濱德爾灣,是加利福尼亞州的一家非營利性公司,成立於1998年9月18日,旨在監督之前由其他組織(尤其是 IANA)直接代表美國政府執行的許多與網際網路相關的任務。
全球五大區域性網際網路序號產生器構
由於ICANN作為一個全球性機構,不便於直接將IP或域名分配到具體的使用機構上,所以就全球就成立了五大區域網際網路序號產生器構(RIR),分別管理亞太地區(APNIC)、非洲地區(AFRINIC)、美洲地區(ARIN)、拉丁美洲地區(LACNIC)、歐洲地區(RIPE)的網際網路註冊事宜。
全球五大區域性網際網路序號產生器構直接管理區域內的網際網路註冊接入事宜,但是區域內仍然有很多國家和地區實體,五大區域性網際網路序號產生器構可能還是管理不過來。於是每個實體內部也成了對應的地區性網際網路序號產生器構以區域性網際網路序號產生器構對接,負責管理本地區的網際網路註冊事宜。所以一個IP的whois資訊,是由註冊使用者提交給區域性網際網路序號產生器構,,再由地區性網際網路序號產生器構上報到區域性網際網路序號產生器構。
如何查詢ip whois資訊
IP whois資訊由IP的whois伺服器提供對外的查詢介面,透過whois協議就可以直接查詢。IP地址的whois資訊,由各大區域性網際網路序號產生器構提供whois服務對外開放查詢。如下圖透過命令查詢”114.114.114.114”的whois資訊,圖中清晰的顯示了查詢的whois伺服器(whois.apnic.net)是亞太地區網際網路序號產生器構維護的伺服器。
IP whois和域名whois資訊的區別
從CNNIC官網政策上可以看到要註冊IP地址必須要成為CNNIC的IP分配聯盟會員,成為會員就必須是組織機構。所以ip只會由企業所有,而域名則可以為企業或個人所有。從費用上可以看到註冊的IP地址越多越便宜。一年的成本費用,1個C段大約要7千元,最便宜2個A段54萬元,平均為60元每各IP每年。域名的註冊就會相對很容易,且持有價格便宜,因為理論上域名的數量是無上限的。
選取中國電信基站IP、賽爾網路教育網IP、公共DNS(114.114.114.114)這三個IP查詢其對應的WHOIS資訊,發現註冊資訊都是真實的,都代表了註冊單位的資訊,而不會包括終端使用者的資訊。
下圖所示為某大學教育網IP,獲得的IP地址都是對應的註冊單位的資訊是CERNET-CN
,描述資訊為中國教育研究網路。
下圖所示查詢某運營商手機基站出口的IP地址,查詢出來的whois資訊為中國電信浙江節點,未能透過語義上展示出其他資訊來。
但是查詢114.114.114.114獲得的whois資訊,確是註冊單位“南京信風網路科技有限公司”的註冊資訊。
欄目 |
IP whois |
域名whois |
所有人型別 |
單位所有 |
單位所有/個人所有 |
註冊成本 |
高 |
低 |
使用人與所有人一致 |
大部分不一致 |
大部分一致 |
資訊真實性 |
真實 |
個人註冊真實性低 |
如何批次獲取IP的whois資訊
由於IP的whois資訊是註冊單位的真實資訊,這些資訊都是統一使用的英文語言,所以這些資訊有很大的價值可以挖掘。於是乎批次的獲取這些IP WHOIS資訊就特別有價值了。
透過whois伺服器批次查詢
這是最容易想到的辦法了,少量的IP透過whois伺服器查詢,是一個比較容易的辦法,但是大批次的對whois伺服器發起請求和查詢,可能會被whois伺服器封禁請求查詢IP。
向5大RIR機構提出申請批次獲得whois資訊
向5個RIR機構提出申請是批次獲得whois資訊是最為可行的方法,5個RIR機構掌握著所有的IP的whois資訊,其在官方已經給出了相關的申請方式和手續。但是不同的RIR機構對於資訊審批要求都不一樣,且最複雜的拉丁美洲,需要將申請檔案,郵寄至LACNIC總部。最終申請是否透過可能存在著很大的不確定性。
使用RIR公開有限欄位資訊進行挖掘
相比較於批次獲得完整的ip whois資訊,使用RIR公開的有限欄位批次資料來進行挖掘,也是一個不錯的選擇。RIR會公開少量有必要的IP whois資訊,特別是包括路由資訊,這些對網際網路是必要的。
下圖是幾個有限公開資訊的截圖,可以看到敏感資訊都進行了***號處理。同時最為需要注意的是,這些公開資訊的時效性和準確性,都不完整正常,需要進行一些甄別和識別,可能才會產生比較大的預期價值。
資料探勘價值與應用場景
識別IP的歸屬國家
這個確實是一個很小的知識點,但是很多時候,不瞭解背景知識的人,不容易找到正確答案。
生產IP的網路運營商資訊
透過IP的whois資訊可以生產這個IP是教育網的IP,還是阿里雲的雲主機的IP,這些IP的基礎的whois資訊中是包含最基礎的資訊。
生產IP的網路場景資訊
比如透過以下關鍵字,可以研判該IP是家庭寬頻adsl的IP地址:
用來進行追蹤溯源
追蹤到國外這個IP屬於美國派拓網路安全公司。
參考連結:
https://www.cnnic.cn/n4/2022/0801/c84-275.html
https://www.cnnic.cn/n4/2022/0818/c84-346.html
https://www.arin.net/reference/research/bulkwhois/
https://www.lacnic.net/2472/2/lacnic/request-bulk-whois-access