Swift抓取某網站律師內容並做排名篩選

有個很要好的朋友，今天找我說他的朋友欠他錢，因為工程上面的事情，所以一直沒拿到款。想讓我找個靠譜的律師幫他打官司，因為這個也不是我的強項，也沒有這方面的經驗。隨即從律師網站爬取對應律師口碑以及成功案例，然後把資料交到他手裡讓他自己選擇。

這個任務需要使用 Swift 和網路爬蟲庫，如 SwiftSoup 或者 Alamofire 等。這裡，我將使用 SwiftSoup 來抓取網頁內容。注意，爬蟲需要遵守網站的robots.txt協議，不要過度訪問，以免被封IP。

以下是步驟和程式碼：

1、匯入所需庫：

import 
SwiftSoup



import 
Foundation

2、建立函式並設定代理：

func 
crawlWebsite
(
url
: 
String
, 
proxyHost
: 
String
, 
proxyPort
: 
Int
) 
-> 
String 
{


    
let 爬蟲
IP獲取 
=  
jshk
.com.cn
/
mb
/
reg
.asp
?
kefu
=
xjy
&


    
let 
proxy 
= 
"http://\(
proxyHost
):\(
proxyPort
)"


    
let 
session 
= 
URLSession
(
configuration
: 
URLSessionConfiguration
.default
, 
proxy
: 
proxy
, 
securityPolicy
: 
.none
)


    


    
// 其他程式碼...



}

3、使用 SwiftSoup 連線網頁並獲取內容：

func 
crawlWebsite
(
url
: 
String
, 
proxyHost
: 
String
, 
proxyPort
: 
Int
) 
-> 
String 
{


    
let 
proxy 
= 
"http://\(
proxyHost
):\(
proxyPort
)"


    
let 
session 
= 
URLSession
(
configuration
: 
URLSessionConfiguration
.default
, 
proxy
: 
proxy
, 
securityPolicy
: 
.none
)


    


    
let 
task 
= 
session
.dataTask
(
with
: 
URL
(
string
: 
url
)
!
) 
{ 
(
data
, 
response
, 
error
) 
in


        
if 
let 
error 
= 
error 
{


            
print
(
"Error: \(
error
.localizedDescription
)"
)


            
return


        
}


        


        
guard 
let 
data 
= 
data 
else 
{


            
print
(
"No data received"
)


            
return


        
}


        


        
let 
document 
= 
try
! 
SwiftSoup
.parse
(
data
)


        
let 
content 
= 
document
.html


        


        
return 
content


    
}


    


    
task
.resume
()


    


    
// 其他程式碼...



}

4、分析網頁內容，提取所需的資訊：

func 
crawlWebsite
(
url
: 
String
, 
proxyHost
: 
String
, 
proxyPort
: 
Int
) 
-> 
String 
{


    
let 
proxy 
= 
"http://\(
proxyHost
):\(
proxyPort
)"


    
let 
session 
= 
URLSession
(
configuration
: 
URLSessionConfiguration
.default
, 
proxy
: 
proxy
, 
securityPolicy
: 
.none
)


    


    
let 
task 
= 
session
.dataTask
(
with
: 
URL
(
string
: 
url
)
!
) 
{ 
(
data
, 
response
, 
error
) 
in


        
if 
let 
error 
= 
error 
{


            
print
(
"Error: \(
error
.localizedDescription
)"
)


            
return


        
}


        


        
guard 
let 
data 
= 
data 
else 
{


            
print
(
"No data received"
)


            
return


        
}


        


        
let 
document 
= 
try
! 
SwiftSoup
.parse
(
data
)


        
let 
content 
= 
document
.html


        


        
// 提取律師內容抓取


        
let 
lawyerContent 
= 
content
.filter 
{ 
element 
in


            
element
.tagName 
== 
"div" 
&& 
element
.attr
(
"class"
) 
== 
"lawyer-box"


        
}


        


        
return 
lawyerContent


    
}


    


    
task
.resume
()


    


    
// 其他程式碼...



}

上面就是全部程式碼。這裡需要提醒各位這個只是一個基本的爬蟲程式碼示例，還需要根據自己實際情況進行調整，而且對於不同網站有不同反爬機制，所以需要自己靈活運用。如果有不懂的地方，可以下面留言討論。