本文主要討論一種非常方便的抓取Android和iphone手機網路資料包的辦法,以及介紹wireshark最常用的技巧
抓包工具介紹
(1).網頁抓包工具
Chrome瀏覽器外掛
FireBug 外掛
HttpWatch
Fiddler
在瀏覽器chrome和firefox中可以使用外掛抓取網路包,httpwatch會以外掛的形式安裝在IE和firefox瀏覽器中,對web請求進行抓包。而Fiddler則是一個獨立的程式,其原理是在啟動之後開啟對127.0.0.1:8888的埠進行監聽,並將計算機上的瀏覽器的代理設定為指向其監聽的8888埠,這樣當瀏覽器請求網頁的時候,會通過fiddler監聽的8888埠,這樣fiddler會獲取到所有請求的資料和web伺服器回覆的資料。Fiddler可以自動對IE和非IE瀏覽器的代理進行設定,開啟fiddler之後,點選IE的“工具”— “Internet選項”—“連線”選項卡 – 點開“區域網設定” 在彈出的對話方塊中你會發現 “代理伺服器”設定中的“為LAN使用代理伺服器”這個核取方塊是勾選上的,點選下面的“高階”按鈕,可以看到代理伺服器已經被設定為127.0.0.1:8888了。
如下圖:
對非IE瀏覽器的設定也是自動的,在fiddler的選項中可以看出來
點選fiddler的選單“Tools”—“Fiddler Options…” 可以看到如下圖:
點選圖中的“Copy BrowserProxy Confiuration URL”得到一個路徑,也就是BrowserPAC.js的路徑,該檔案是fiddler用來設定非IE瀏覽器的代理的,至於是什麼原理,不太清楚,但是根據該js的註釋,以及fiddler選項鍊接的Tools tips提示,可以看出其作用就是設定非IE瀏覽器的代理的
這是fiddler軟體的智慧之處,每當開啟fiddler軟體之後,他會自動對系統中安裝的瀏覽器進行代理設定,關閉fiddler之後,他也會還原這些瀏覽器的代理設定。
從這點上來講我覺得fiddler比httpwatch更加好用。而瀏覽器的外掛也可以滿足大部分的web抓包需求。
(2).網路抓包工具
Wireshark
Sniffer
這類工具主要原理是通過底層驅動,監視網路卡上流過的資料,而這個資料包含網路上所有的資料,包括從鏈路層一直到最上層應用層的所有資料包。這種抓包工具獲取的網路資料包是最全面的,可以抓獲除了http協議之外的其他資料包。針對網路卡捕獲,不需要設定。
Wireshark手機抓包
從網路上面搜尋到的資料看,要抓取手機中app的網路包有下面幾種方式:
(1).將tcpdump移植到Android平臺,然後在命令列下啟動tcpdump進行抓包。Tcpdump程式實際上可以看作是wireshark的命令列版本,將該程式移植到Android平臺直接抓包,這是一種最直接的抓包方式,然後將抓獲的資料包檔案,從手機傳到windows系統上用wireshark開啟進行分析,這種方式貌似不能用於蘋果手機。
(2).使用fiddler,在windows系統上開啟fiddler軟體,該軟體會將我們的電腦變成一個代理,然後在手機上設定wifi網路,將代理指定為開啟fiddler的那臺電腦,並且埠設定為fiddler偵聽的8888埠,這時候使用手機訪問的資料,就會通過該代理,在fiddler中就可以看到http的資料包。這種方法我試了半天怎麼都看不到資料包,不知道哪裡出問題了,根據原理,這種方式支援可以通過代理訪問網路的手機。所以從原理上說是支援Android和蘋果手機的。
(3).通過各種方式在pc電腦上建立wifi熱點,然後使用wireshark在pc電腦上監視該wifi熱點,通過手機連線該熱點訪問網路。這樣wireshark會獲取所有流經該熱點的資料包這種方式適用於所有能夠無線訪問的手機,也就是說所有的Android和蘋果手機。
那麼如何在pc電腦上建立wifi熱點呢,有這麼幾種辦法:
(1).Win7電腦經過設定,可以將無線網路卡設定為wifi熱點,這種方法我以前用過,可以成功,但是步驟繁瑣,而且不一定能夠成功,其他的windows系統估計就沒戲了。
(2).使用軟體自動建立wifi熱點,不需要自己手工配置,這樣的軟體有Connectify Hotspot,獵豹免費wifi,360免費wifi軟體,這幾個軟體我都使用過,比較好用,這種方式同樣也只能針對有無線網路卡的膝上型電腦,原理也是將膝上型電腦上的無線網路卡建立熱點了,只不過是軟體自動的,不需要人工設定,比方法1要方便。
注意:經過實驗發現,手機連線這種方式建立的熱點,所傳送的資料,用wireshark去抓包,需要捕獲電腦上本身聯網的那個“網路連線”,例如我的筆記本上面有一個“本地連線”,該連線是使用有線網路的。我用獵豹免費wifi軟體建立一個熱點之後,我的電腦上多出一個“無線網路連線3”,可以看到該“無線網路連線3”是獵豹生成的,但是我抓包的時候,wireshark需要捕獲“本地連線”上的包,也就是我的手機訪問的資料實際上還是使用的“本地連線”,通訊IP也是“本地連線”上的IP地址,而在手機的wifi連線設定中看到的ip地址,在我抓的包中也搜不到,也就是說手機通過該熱點訪問網路,實際上還是使用的“本地連線”的IP地址,至於是什麼原理,我目前也不太清楚。但是下面要說的隨身wifi硬體則與此不同,隨身wifi是建立了網路卡。
(3).使用隨身wifi硬體。這種也是很方便的方法,而且比較穩定,對膝上型電腦和桌上型電腦都可以使用。我之前買了一個360的隨身wifi(不是打廣告,本人對360公司不感冒,但是他的隨身wifi做的確實還可以,同事中有買小米wifi的,不太穩定)。只要在360的官網上下載驅動,直接插上隨身wifi就可以使用,我推薦使用這種方法。
如果你用的是膝上型電腦可以使用方法2,如果是桌上型電腦器可以使用方法3。
下面重點說明,通過隨身wifi建立熱點,然後使用wireshark抓包的辦法,其他方式建立熱點抓包的原理一樣,只不過是建立熱點的方式不同而已,抓包過程沒有區別:
首先插入隨身wifi:
使用手機連線上面的wifi,然後開啟“網路和共享中心”,在裡面點選我們使用隨身wifi建立的網路連線:
裡面可以看到該連結的網路卡實體地址,以及ipv6的地址資訊,這應該是隨身wifi建立的一個網路卡,之所以要檢視這些資訊,是因為我們要確定wireshark抓包的時候抓取那個網路卡的資訊,一般電腦上有多網路卡或者是有虛擬機器可能也會生成虛擬網路卡。
開啟wireshark,選擇選單“Capture”—“Interface”在彈出的對話方塊中有一列是IP欄,可以看到除了本機的網路連線以外,好像其他的網路連結這一欄顯示的都是IPv6的地址,其中我們可以找到與上面網路連線資訊中匹配的IP地址:
還可以點選該條目右邊的“Details”按鈕,開啟詳細資訊對話方塊,在“802.3(Ethernet)”選項卡中,可以看到網路卡的實體地址,該實體地址與上面的網路連線對話方塊中顯示的實體地址是對應的:
這樣可以確定我們需要抓取哪個網路卡的資料,確定之後,直接點選該條目的“Start”按鈕,使用連上該wifi的手機隨便訪問網路,就可以抓取所有包了,如果嫌檢視網路卡資訊麻煩,你可以把這幾個顯示有資料包的網路卡都抓包試一下,就應該可以看出來隨身wifi對應的是那個網路連線了。
在手機上檢視連線該wifi被分配的IP地址資訊:
在wireshark的抓包結果中,通過地址與http協議過濾出該地址172.24.160.3相關的資料包得到如下的結果:
這些資料是我在小米手機上,通過UC瀏覽器瀏覽博格園電腦版網頁抓獲的所有資料包。
對於iphone手機的抓包過程沒有任何區別。該方法可以抓獲所有傳送自手機的資料包,包括http與非http的所有資料包。
個人認為這種方式非常簡單方便,抓取的資料包全面,而且通過隨身wifi設定熱點不需要任何繁瑣的配置,僅僅是安裝一個驅動而已,實際上隨身wifi好像是新建了一個網路卡。我們只要用wireshark抓獲該隨身wifi建立的網路卡的資料就可以了。對於從事app開發的園友來說19塊錢買一個wifi是非常值得的,這會為你的除錯,以及研究別人的協議提供非常大的幫助。
Wireshark常用技巧
本節主要講解wireshark使用的一些常用的技巧,其實主要是使用過程中,用的最為頻繁的一些包的篩選規則。
Wireshark中有兩種過濾器:
(1).捕獲過濾器:告訴wireshark我們只需要捕獲滿足什麼條件的包,而不滿足條件的包則不需要捕獲。由於捕獲過濾器是在wireshark在捕獲過程中採用的,所以捕獲過濾器的過濾條件最多侷限在傳輸層的協議,也就是可以通過ip和埠指定規則,而更加上層的應用層協議則不能用在捕獲過濾器中。
語法: Protocol Direction Host(s) Value LogicalOperations Other expression
例子: tcp dst 10.1.1.1 80 or tcp dst 10.2.2.2 3128
解釋:Protocol表示協議,Direction表示方向,Host指定IP地址,Value一般指定埠,可以使用邏輯操作連線其他的表示式來生成複合表示式。例如:
tcp dst port 8888
捕獲目的tcp埠為8888的包
ip src host 10.1.1.1
捕獲來源地址為10.1.1.1的包
host 10.1.1.1
捕獲目的或者來源地址為10.1.1.1的包
not icmp
捕獲除了icmp包的所有包
有關更多的捕獲過濾器請參考wireshark的文件
(2).顯示過濾器:該過濾器是在已經抓到的包中篩選出自己想分析的資料包,也就是說該過濾器是在捕獲工作已經完成之後做的,其資料基礎就是已經捕獲到的那些資料包,該過濾器支援的協議就是wireshark能夠識別的所有協議,由於是在已經捕獲下來的包中進行篩選,所以該過濾器中的條件表示式可以支援所有的上層協議,其篩選條件也可以根據每個協議的不同部分進行篩選。下面以HTTP協議為例子:
檢視所有http請求的資料包(包括GET,POST等等的請求,只要是web請求都算)
所有POST請求的資料包
所有請求的URL中包含字串”.jpg”的包
所有http響應狀態碼為200的包
可以看到HTTP協議有很多欄位提供篩選,wireshark還支援matches操作符,進行正則篩選
查詢所有http請求URL中包含 /mvc/字串並且請求的是帶引數的aspx頁面的包
關於各種協議的欄位文件可以查閱wireshark的文件,都有詳細說明,包括協議的每個欄位部分的含義。其實對於做app或者是web開發的來說常見的http篩選欄位已經足夠用了
此外wireshark除了可以根據協議的每個欄位的內容值進行篩選之外,還可以指定資料包中的第幾個位元組的二進位制資料值進行篩選,這種通過包中二進位制資料進行篩選的方法一般在socket的私有二進位制協議中比較有用,這些協議一般是私有定義的,並且是基於二進位制的協議,例如第幾個位元組表示什麼意思,wireshark肯定是不能識別這些包的,那麼我們可以自己根據二進位制資料進行篩選
篩選出ip源或目標地址為172.16.1.126 並且udp埠為50798 並且rtp包的第2個位元組的值是0xE0的包,這樣的包是rtp資料包一幀結束的包。
當然上面的例子我們是可以通過rtp協議的欄位rtp.marker==1為條件來進行篩選的,舉上面的例子是為了說明如何根據包中的二進位制資料值進行篩選。
Wireshark有非常強大的抓包與過濾功能,本節也僅僅列舉了其中最常用的篩選規則,在顯示過濾器的規則中wireshark可以根據每一層的協議進行篩選,例如網路層(IP,ARP,ICMP等協議),傳輸層(TCP,UDP)等協議,應用層(HTTP,RTMP,RTSP等協議),各層協議的欄位可以通過邏輯與(&&,and),或(||,or),非(|,not)等運算子連線成複合表示式進行過濾。
更加詳細的wireshark的過濾規則可以參考wireshark的官方文件。
對部落格園提點建議:上傳相簿的圖片要是能批量上傳就好了,每次寫篇文章,上傳十幾二十張圖片非常痛苦