python3_檢查URL是否能正常訪問

Pop_Rain發表於2017-05-16
原文網址 : https://blog.csdn.net/pop_rain/article/details/72293762
Python

1.首先2000個URL。可以放在一個txt文字內

2.通過python 把內容內的URL一條一條放進陣列內

3.開啟一個模擬的瀏覽器，進行訪問。

4.如果正常訪問就輸出正常，錯誤就輸出錯誤

import urllib.request
import time

opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/49.0.2')]
#這個是你放網址的檔名，改過來就可以了
file = open('f:/1.txt')
lines = file.readlines()
aa=[]
for line in lines:
	temp=line.replace('\n','')
	aa.append(temp)
print(aa)

print('開始檢查：')
count= 0  # 計算txt中網站的數量
newfile = open("f:/URL_open.txt","a")
for a in aa:
	tempUrl = a
	try :
		opener.open(tempUrl)
		print(tempUrl+'沒問題')
		newfile.write(a+"\n")
	except urllib.error.HTTPError:
		print(tempUrl+'=訪問頁面出錯')
		time.sleep(2)
	except urllib.error.URLError:
		print(tempUrl+'=訪問頁面出錯')
		time.sleep(2)
	time.sleep(0.1)
newfile.close()


相關文章