python定時爬蟲啟用時如何減少記憶體?
我們在同時處理多個事情的時候,可能同時開啟瀏覽器、辦公軟體等不同的幾個程式,一旦過多電腦執行就會變慢。要是還不斷地加入新的程式,電腦就會卡的動不了,然後宣佈它不跟我們玩了。我們定時獲取資料的時候,程式啟動的也是非常多的,而且還不斷有新的資料獲取儲存下來,那麼我們有沒有什麼方法可以減少程式執行所佔有的cpu率呢?
現在需要啟動一個selenium的爬蟲,使用火狐驅動+多執行緒,大家都明白的,現在電腦管家顯示CPU佔用率20%,啟動selenium後不停的開啟瀏覽器+多執行緒。
沒過5分鐘,CPU佔用率直接拉到90%+,電腦卡到飛起,定時程式雖然還在執行,但是已經類似於待機狀態。
程式碼解決:
from datetime import datetime from threading import Timer import time # 定時任務 def task(): print(datetime.now().strftime("%Y-%m-%d %H:%M:%S")) def timedTask(): ''' 第一個引數: 延遲多長時間執行任務(秒) 第二個引數: 要執行的函式 第三個引數: 呼叫函式的引數(tuple) ''' Timer(5, task, ()).start() while True: timedTask() time.sleep(5)
7行程式碼,是不是很優雅?
2020-06-05 14:06:39 2020-06-05 14:06:44 2020-06-05 14:06:49 2020-06-05 14:06:54 2020-06-05 14:06:59 2020-06-05 14:07:04 2020-06-05 14:07:09 2020-06-05 14:07:14 2020-06-05 14:07:19 2020-06-05 14:07:24
本來一堆繁複的程式卡的電腦介面動彈不得,只要以上幾行程式碼就可以還給我們一個執行流暢的環境,小夥伴們還不趕緊動手嘗試下嘛,試完真的不卡了!更多Python學習指路:。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/2325/viewspace-2832026/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- python爬蟲如何減少ip的限制Python爬蟲
- 字串池化,減少1/3記憶體佔用字串記憶體
- curl 中減少記憶體分配操作記憶體
- python使用迭代生成器yield減少記憶體佔用的方法Python記憶體
- python爬蟲時ip被封如何解決Python爬蟲
- 谷歌Chrome瀏覽器引入省記憶體/省電模式:減少記憶體佔用谷歌Chrome瀏覽器記憶體模式
- win10系統下如何減少RAM記憶體使用Win10記憶體
- 減少.NET應用程式記憶體佔用的一則實踐記憶體
- 通過減少記憶體使用改善.NET效能記憶體
- 使用String.intern減少記憶體使用記憶體
- Effective C#:儘量減少記憶體垃圾C#記憶體
- 如何減少 Hyperf 框架的掃描時間框架
- python 爬蟲 實現增量去重和定時爬取例項Python爬蟲
- 揭秘!Vue3.5響應式重構如何讓記憶體佔用減少56%Vue記憶體
- 探究 | App Startup真的能減少啟動耗時嗎APP
- 【PhpSelenium】3.定時爬蟲 + 多工爬蟲 + 代理池PHP爬蟲
- [PhpSelenium] 3.定時爬蟲 + 多工爬蟲 + 代理池PHP爬蟲
- sqlserver執行時記憶體設定方法SQLServer記憶體
- python網路爬蟲_Python爬蟲:30個小時搞定Python網路爬蟲視訊教程Python爬蟲
- nodejs爬蟲記憶體洩露排查NodeJS爬蟲記憶體洩露
- 如何讓定時任務減負?
- 減少Spring Boot的JVM記憶體佔用的Docker三種配置Spring BootJVM記憶體Docker
- 如何讓手遊記憶體佔用更小?從記憶體消耗iOS實時統計開始記憶體iOS
- [python爬蟲] 招聘資訊定時系統 (一).BeautifulSoup爬取資訊並儲存MySQLPython爬蟲MySql
- 選擇合適Redis資料結構,減少80%的記憶體佔用Redis資料結構記憶體
- Webpack + Vue,部署時減少包體積的幾種方法WebVue
- python爬蟲抓取資料時失敗_python爬蟲 大佬 請教下 為什麼爬取的資料有時能爬到 有時有爬不到, 程式碼如下:...Python爬蟲
- tcp減少2msl的時間TCP
- 使用python爬蟲時如何防止被封?海外HTTP代理如何挑選購買?Python爬蟲HTTP
- 簡單的 Selenium 爬蟲應用及定時桌面提示圖示爬蟲
- 微軟的HotSpot C2可減少15%堆記憶體分配微軟HotSpot記憶體
- Redis 記憶體突增時,如何定量分析其記憶體使用情況Redis記憶體
- 【Python學習】爬蟲爬蟲爬蟲爬蟲~Python爬蟲
- Android低版本上APP首次啟動時間減少80%(二)AndroidAPP
- TimesTen臨時(記憶體)空間使用和調整臨時(記憶體)空間記憶體
- 有時發現系統記憶體不釋放臨時採用辦法,寫成指令碼,定時去釋放記憶體指令碼
- python爬蟲日記01Python爬蟲
- 【python爬蟲】python爬蟲demoPython爬蟲