爬蟲驗證碼的幾種處理方式，已封裝成類，文章末尾有原始碼！
最近事情其實挺多了，打了一下藍橋杯的比賽， 還在準備著一些證照的考試， 關於爬蟲之類的部落格都擱著了一段時間了， 關於我自己確實有點退步了， 實屬不該， 其實我自己也是在想， 大三了，到底我是要去考研，還是依然像這樣更新換代的學技術， 再或者， 繼續鑽爬蟲這路子， 雖然我也不知道這路走的順不順， 自己也有點抓不住光明， 這段時間，大概花了一個多月的晚上吧， 終於把Django 的大致過了一次， 剩下的就是對著官方文件和一些實際專案操作了， 這些我也會打算開一個專欄，來專門記錄一下我學習Django 的一些心酸道路， 學習依舊是這樣， 你不學習，就會失去， 很是莫名其妙， 真的很奇怪， 某人的獎學金是靠關係的， 某專案的獲獎者僅僅只是零時換了一個名字，。。。
不管這些了，無所謂的東西， 這邊部落格，將處理圖片驗證碼的2個比較優秀的方式進行了一次封裝, 分別是百度的aip 和 一個最近火起來的識別muggle-ocr
這裡要主要提一下百度的aip，這裡面的東西是真的多， 我還擴充套件了一個識別色情圖片的函式， 有興趣的可以玩一玩， 另外 學了爬蟲之後， 這些圖片真的是應接不暇， 網站也是多的數不勝數， 希望淨網行動加把勁， 剩下的就不比比了， 看實際操作吧。
本篇文章介紹了爬蟲中驗證碼的處理方式， 並把這些功能封裝起來，供我們使用， 涉及到百度AIP的呼叫方式， 以及一個最新的開源庫muggle識別庫的使用，歡迎閱讀，點贊，收藏！
學會呼叫百度的aip介面：
1. 首先需要註冊一個賬號：
https://login.bce.baidu.com/
註冊完成之後登入
2. 建立專案
在這些技術裡面找到文字識別，然後點選建立一下專案
建立完成之後：
圖片中 AppID , API key, Secret Key 這些待會是需要用的。
下一步可以檢視官網文件，或者直接使用我寫的程式碼
3. 安裝一下依賴庫 pip install baidu-aip
這只是一個介面， 需要前面的一些設定。
def return_ocr_by_baidu(self, test_image):
"""
ps: 先在__init__ 函式中完成你自己的baidu_aip 的一些引數設定
這次測試使用 高精度版本測試
如果速度很慢 可以換回一般版本
self.client.basicGeneral(image, options)
相關參考網址:
https://cloud.baidu.com/doc/OCR/s/3k3h7yeqa
:param test_image: 待測試的檔名稱
:return: 返回這個驗證碼的識別效果 如果錯誤 可以多次呼叫
"""
image = self.return_image_content(test_image=self.return_path(test_image))
# 呼叫通用文字識別（高精度版）
# self.client.basicAccurate(image)
# 如果有可選引數 相關引數可以在上面的網址裡面找到
options = {}
options["detect_direction"] = "true"
options["probability"] = "true"
# 呼叫
result = self.client.basicAccurate(image, options)
result_s = result['words_result'][0]['words']
# 不列印關閉
print(result_s)
if result_s:
return result_s.strip()
else:
raise Exception("The result is None , try it !")
擴充套件百度的色情識別介面：
我們寫程式碼肯定是要找點樂子的， 不可能這麼枯燥無味吧？
色情識別介面在 內容稽核中， 找一下就可以了。
呼叫方式原始碼：
# -*- coding : utf-8 -*-
# @Time : 2020/10/22 17:30
# @author : 沙漏在下雨
# @Software : PyCharm
# @CSDN : https://me.csdn.net/qq_45906219
from aip import AipContentCensor
from ocr import MyOrc
class Auditing(MyOrc):
"""
這是一個呼叫百度內容稽核的aip介面
主要用來稽核一些色情 反恐 噁心 之類的東西
網址: https://ai.baidu.com/ai-doc/ANTIPORN/tk3h6xgkn
"""
def __init__(self):
# super().__init__()
APP_ID = '填寫你的ID'
API_KEY = '填寫你的KEY'
SECRET_KEY = '填寫你的SECRET_KEY'
self.client = AipContentCensor(APP_ID, API_KEY, SECRET_KEY)
def return_path(self, test_image):
return super().return_path(test_image)
def return_image_content(self, test_image):
return super().return_image_content(test_image)
def return_Content_by_baidu_of_image(self, test_image, mode=0):
"""
繼承ocr中的一些方法， 因為都是放一起的 少些一點程式碼
內容稽核: 關於圖片中是否存在一些非法不良資訊
內容稽核還可以實現文字稽核 我覺得有點雞肋 就沒一起封裝進去
url: https://ai.baidu.com/ai-doc/ANTIPORN/Wk3h6xg56
:param test_image: 待測試的圖片 可以本地檔案 也可以網址
:param mode: 預設 = 0 表示 識別的本地檔案 mode = 1 表示識別的圖片網址連線
:return: 返回識別結果
"""
if mode == 0:
filepath = self.return_image_content(self.return_path(test_image=test_image))
elif mode == 1:
filepath = test_image
else:
raise Exception("The mode is 0 or 1 but your mode is ", mode)
# 呼叫色情識別介面
result = self.client.imageCensorUserDefined(filepath)
# """ 如果圖片是url呼叫如下 """
# result = self.client.imageCensorUserDefined('http://www.example.com/image.jpg')
print(result)
return result
a = Auditing()
a.return_Content_by_baidu_of_image("test_image/2.jpg", mode=0)
學會muggle_ocr 識別介面：
這個包是最近火起來的， 使用起來很簡單， 沒多少其他函式
-
安裝 pip install muggle-ocr
這個下載有點慢 最好使用手機熱點 目前映象網站(清華/阿里) 還沒有更新到這個包 因為這個包是最新的一個ocr模型 -
呼叫介面
def return_ocr_by_muggle(self, test_image, mode=1):
"""
呼叫這個函式使用 muggle_ocr 來進行識別
:param test_image 待測試的檔名稱 最好絕對路徑
:param 模型 mode = 0 即 ModelType.OCR 表示識別普通印刷文字
當 mode = 1 預設 即 ModelType.Captcha 表示識別4-6位簡單英輸驗證碼
官方網站: https://pypi.org/project/muggle-ocr/
:return: 返回這個驗證碼的識別結果 如果錯誤 可以多次呼叫
"""
# 確定識別物品
if mode == 1:
sdk = muggle_ocr.SDK(model_type=muggle_ocr.ModelType.Captcha)
elif mode == 0:
sdk = muggle_ocr.SDK(model_type=muggle_ocr.ModelType.OCR)
else:
raise Exception("The mode is 0 or 1 , but your mode == ", mode)
filepath = self.return_path(test_image=test_image)
with open(filepath, 'rb') as fr:
captcha_bytes = fr.read()
result = sdk.predict(image_bytes=captcha_bytes)
# 不列印關閉
print(result)
return result.strip()
封裝原始碼：
# -*- coding : utf-8 -*-
# @Time : 2020/10/22 14:12
# @author : 沙漏在下雨
# @Software : PyCharm
# @CSDN : https://me.csdn.net/qq_45906219
import muggle_ocr
import os
from aip import AipOcr
"""
PS: 這個作用主要是作了一個封裝 把2個常用的圖片/驗證碼識別方式合在一起 怎麼用 取決於自己
介面1: muggle_ocr
pip install muggle-ocr 這個下載有點慢 最好使用手機熱點
目前映象網站(清華/阿里) 還沒有更新到這個包 因為這個包是最新的一個ocr模型
介面2: baidu-aip
pip install baidu-aip
這個知道的人應該很多很多， 但是我覺得還是muggle 這個新包猛的一比
呼叫方式 可以參考官網文件: https://cloud.baidu.com/doc/OCR/index.html
或者使用我如下的方式 都是ok的
:param image_path 待識別的圖片路徑 如果目錄很深 推薦使用絕對路徑
"""
class MyOrc:
def __init__(self):
# 設定一些必要資訊 使用自己百度aip的內容
APP_ID = '你的ID'
API_KEY = '你的KEY'
SECRET_KEY = '你的SECRET_KEY'
self.client = AipOcr(APP_ID, API_KEY, SECRET_KEY)
def return_path(self, test_image):
""":return abs image_path"""
# 確定路徑
if os.path.isabs(test_image):
filepath = test_image
else:
filepath = os.path.abspath(test_image)
return filepath
def return_image_content(self, test_image):
""":return the image content """
with open(test_image, 'rb') as fr:
return fr.read()
def return_ocr_by_baidu(self, test_image):
"""
ps: 先在__init__ 函式中完成你自己的baidu_aip 的一些引數設定
這次測試使用 高精度版本測試
如果速度很慢 可以換回一般版本
self.client.basicGeneral(image, options)
相關參考網址:
https://cloud.baidu.com/doc/OCR/s/3k3h7yeqa
:param test_image: 待測試的檔名稱
:return: 返回這個驗證碼的識別效果 如果錯誤 可以多次呼叫
"""
image = self.return_image_content(test_image=self.return_path(test_image))
# 呼叫通用文字識別（高精度版）
# self.client.basicAccurate(image)
# 如果有可選引數 相關引數可以在上面的網址裡面找到
options = {}
options["detect_direction"] = "true"
options["probability"] = "true"
# 呼叫
result = self.client.basicAccurate(image, options)
result_s = result['words_result'][0]['words']
# 不列印關閉
print(result_s)
if result_s:
return result_s.strip()
else:
raise Exception("The result is None , try it !")
def return_ocr_by_muggle(self, test_image, mode=1):
"""
呼叫這個函式使用 muggle_ocr 來進行識別
:param test_image 待測試的檔名稱 最好絕對路徑
:param 模型 mode = 0 即 ModelType.OCR 表示識別普通印刷文字
當 mode = 1 預設 即 ModelType.Captcha 表示識別4-6位簡單英輸驗證碼
官方網站: https://pypi.org/project/muggle-ocr/
:return: 返回這個驗證碼的識別結果 如果錯誤 可以多次呼叫
"""
# 確定識別物品
if mode == 1:
sdk = muggle_ocr.SDK(model_type=muggle_ocr.ModelType.Captcha)
elif mode == 0:
sdk = muggle_ocr.SDK(model_type=muggle_ocr.ModelType.OCR)
else:
raise Exception("The mode is 0 or 1 , but your mode == ", mode)
filepath = self.return_path(test_image=test_image)
with open(filepath, 'rb') as fr:
captcha_bytes = fr.read()
result = sdk.predict(image_bytes=captcha_bytes)
# 不列印關閉
print(result)
return result.strip()
# a = MyOrc()
# a.return_ocr_by_baidu(test_image='test_image/digit_img_1.png')
本篇文章介紹了爬蟲中驗證碼的處理方式， 並把這些功能封裝起來，供我們使用， 涉及到百度AIP的呼叫方式， 以及一個最新的開源庫muggle識別庫的使用，歡迎閱讀，點贊，收藏！
相關文章
- python爬蟲之處理驗證碼Python爬蟲
- 爬蟲遇到頭疼的驗證碼？教你彈窗處理和驗證碼識別爬蟲
- PHP處理密碼的幾種方式PHP密碼
- 驗證碼 生成 二三例（一般處理程式，封裝一個類）封裝
- QTP處理驗證碼的一種方法QT
- Python web自動化爬蟲-selenium/處理驗證碼/XpathPythonWeb爬蟲
- 短視訊平臺原始碼，取驗證碼 封裝全部封裝好直接呼叫原始碼封裝
- 自用驗證類封裝封裝
- Python有哪幾種編碼方式?這幾類必須知道!Python
- 數美驗證碼-空間推測-爬蟲爬蟲
- 直播app系統原始碼，flutter 驗證碼輸入框的簡單封裝APP原始碼Flutter封裝
- 爬蟲進階教程：極驗(GEETEST)驗證碼破解教程爬蟲
- 自己動手封裝js工具類（JS中定義類的幾種方式）封裝JS
- 如何爬取視訊的爬蟲程式碼原始碼爬蟲原始碼
- 驗證碼影像處理（JavaScript 版）JavaScript
- JB的Python之旅-爬蟲篇-圖形驗證碼(3)-- 驗證碼的生成了解下Python爬蟲
- 網路爬蟲（三）：異常的處理和HTTP狀態碼的分類爬蟲HTTP
- 直播商城原始碼，驗證方式之一，滑塊驗證原始碼
- 反-反爬蟲：用幾行程式碼寫出和人類一樣的動態爬蟲爬蟲行程
- 反 反爬蟲：用幾行程式碼寫出和人類一樣的動態爬蟲爬蟲行程
- 那些年，我爬過的北科(八)——反反爬蟲之驗證碼識別爬蟲
- 程式碼迭代的幾種方式
- 網站被劫持的方式有幾種？遭遇劫持如何處理？網站
- 幾種方法命令列 批處理 指令碼 已經涵蓋了常見的設定 Windows 7 音量的方式命令列指令碼Windows
- JB的Python之旅-爬蟲篇-圖形驗證碼(1)-- tesserocrPython爬蟲
- 相親交友原始碼開發中會用到的幾種日期處理方法原始碼
- 【驗證碼逆向專欄】xx80 郵箱多種類驗證碼逆向分析
- 什麼是異常?python處理異常的方式有幾種?Python
- Oracle 密碼驗證方式Oracle密碼
- 靜態密碼已經”OUT”探索身份驗證新方式密碼
- 直播系統原始碼，MAP的幾種取資料的方式原始碼
- nacos2.3 密碼驗證的處理過程密碼
- 自動化測試中的驗證碼處理
- 線上直播原始碼，java資料分頁幾種方式原始碼Java
- Flutter 驗證碼倒數計時Widget封裝Flutter封裝
- iOS開發 - 隨機圖片驗證碼封裝iOS隨機封裝
- 遊戲陪玩系統原始碼中懶載入的實現方式有哪幾種？遊戲原始碼
- 「資料分析」2種常見的反爬蟲策略，資訊驗證和動態反爬蟲爬蟲