技術分享:Proxy-Pool代理池搭建IP代理

Redhskb發表於2023-04-06

技術分享:Proxy-Pool代理池搭建IP代理

 

前言
本章內容僅供參考,不涉及實際使用,主要使用Python環境和Redis資料庫進行環境搭建,工具網盤儲存如下,有問題可以私聊我。
網址:https://wwgn.lanzoul.com/b03w0tvja 密碼:am5m

一、環境準備
1、Python3.10/.7
2、Redis5.0.10
3、Proxy-pool2.4.1

二、搭建過程

1.Redis資料庫搭建

1、首先確定好環境是否準備好,提前安裝好Python3.10.7環境。

 2、環境準備好後,首先配置Redis資料庫環境,進入到Redis資料庫的根目錄資料夾,在資料夾中開啟cmd視窗,輸入命令啟動redis服務。
命令:redis-server.exe redis.windows.conf

3、確定能夠啟動redis服務後,將該視窗關閉,接下來需要將redis服務安裝到Windows服務中,新開一個cmd視窗,輸入命令將redis安裝到Windows服務中,安裝完成後,開啟執行框輸入services.msc開啟服務,檢視是否成功安裝redis服務。
命令:redis-server.exe --service-install redis.windows.conf

 4、確定新增成功後,再次透過命令啟動redis服務,關閉所有cmd視窗,再開啟一個新的cmd視窗,輸入命令啟動redis服務。(start代表開啟,stop代表關閉)
命令:redis-server.exe --service-start

 5、接下來測試是否成功開啟redis服務,輸入命令,如出現下列資訊則代表開啟成功。
命令:redis-cli.exe -h 127.0.0.1 -p 6379

2.Proxy-Pool代理池搭建

1、首先要安裝依賴環境,這裡需要注意Python版本問題,由於Proxy-pool代理池是基於Python3.6製作的,所以需要將依賴檔案中的版本號進行刪除,交給pip進行適應版本下載,開啟requirements.txt檔案,將後面的版本號連同等於號一起刪除,保留如下。

 2、修改完畢後,使用PIP安裝依賴環境,輸入命令。
命令:pip install -r requirements.txt

 3、環境依賴安裝完畢後,需要將Proxy-pool的配置檔案進行修改,開啟setting.py檔案,修改資料庫密碼,埠號等資訊,根據自己的需求進行修改。

 4、配置完畢後啟動專案,這裡需要啟動兩個程式,分別是排程程式和代理池的API介面程式。首先啟動排程程式,開啟cmd輸入命令。
命令:python proxyPool.py schedule

 5、如圖所示開始採集IP地址,等待IP地址採集穩定後,開啟API介面程式,新開一個cmd輸入命令。
命令:python proxyPool.py server

 6、兩個程式開啟以後,測試API呼叫是否成功,開啟瀏覽器,輸入網址進行檢視,發現IP地址每次重新整理都會改變,證明API介面呼叫成功,實驗完成。
地址:http://127.0.0.1:5010/get/

 

相關文章