介紹
在python爬蟲爬取某些網站的驗證碼的時候可能會遇到驗證碼識別的問題，今天就來看下如何讓機器自動識別驗證碼。
識別驗證碼通常是這幾個步驟：
1、灰度處理
2、二值化
3、去除邊框（如果有的話）
4、降噪
5、切割字元或者傾斜度矯正
6、訓練字型庫
7、識別
這6個步驟中前三個步驟是基本的，4或者5可根據實際情況選擇是否需要，並不一定切割驗證碼，識別率就會上升很多有時候還會下降
今天講的不涉及訓練字型庫的內容，感興趣的同學請自行搜尋相關文章。
幾個主要的驗證碼識別相關的python庫： Pillow(python影像處理庫)、OpenCV(高階影像處理庫)、pytesseract(識別庫)
灰度處理&二值化
灰度處理，就是把彩色的驗證碼圖片轉為灰色的圖片。
二值化，是將圖片處理為只有黑白兩色的圖片，利於後面的影像處理和識別
在OpenCV中有現成的方法可以進行灰度處理和二值化，處理後的效果：
程式碼：
# 自適應閥值二值化
def _get_dynamic_binary_image(filedir, img_name):
filename = './out_img/' + img_name.split('.')[0] + '-binary.jpg'
img_name = filedir + '/' + img_name
print('.....' + img_name)
im = cv2.imread(img_name)
im = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY) #灰值化
# 二值化
th1 = cv2.adaptiveThreshold(im, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 21, 1)
cv2.imwrite(filename,th1)
return th1去除邊框
如果驗證碼有邊框，那我們就需要去除邊框，去除邊框就是遍歷畫素點，找到四個邊框上的所有點，把他們都改為白色，我這裡邊框是兩個畫素寬
注意：在用OpenCV時，圖片的矩陣點是反的，就是長和寬是顛倒的
程式碼：
# 去除邊框
def clear_border(img,img_name):
filename = './out_img/' + img_name.split('.')[0] + '-clearBorder.jpg'
h, w = img.shape[:2]
for y in range(0, w):
for x in range(0, h):
if y w - 2:
img[x, y] = 255
if x h -2:
img[x, y] = 255
cv2.imwrite(filename,img)
return img效果：
降噪
降噪是驗證碼處理中比較重要的一個步驟，我這裡使用了點降噪和線降噪
線降噪的思路就是檢測這個點相鄰的四個點（圖中標出的綠色點），判斷這四個點中是白點的個數，如果有兩個以上的白色畫素點，那麼就認為這個點是白色的，從而去除整個干擾線，但是這種方法是有限度的，如果干擾線特別粗就沒有辦法去除，只能去除細的干擾線
程式碼：
# 干擾線降噪
def interference_line(img, img_name):
filename = './out_img/' + img_name.split('.')[0] + '-interferenceline.jpg'
h, w = img.shape[:2]
# ！！！opencv矩陣點是反的
# img[1,2] 1:圖片的高度，2：圖片的寬度
for y in range(1, w - 1):
for x in range(1, h - 1):
count = 0
if img[x, y - 1] > 245:
count = count + 1
if img[x, y + 1] > 245:
count = count + 1
if img[x - 1, y] > 245:
count = count + 1
if img[x + 1, y] > 245:
count = count + 1
if count > 2:
img[x, y] = 255
cv2.imwrite(filename,img)
return img點降噪的思路和線降噪的差不多，只是會針對不同的位置檢測的點不一樣,註釋寫的很清楚了
程式碼：
# 點降噪
def interference_point(img,img_name, x = 0, y = 0):
"""
9鄰域框,以當前點為中心的田字框,黑點個數
:param x:
:param y:
:return:
"""
filename = './out_img/' + img_name.split('.')[0] + '-interferencePoint.jpg'
# todo 判斷圖片的長寬度下限
cur_pixel = img[x,y]# 當前畫素點的值
height,width = img.shape[:2]
for y in range(0, width - 1):
for x in range(0, height - 1):
if y == 0: # 第一行
if x == 0: # 左上頂點,4鄰域
# 中心點旁邊3個點
sum = int(cur_pixel) \
+ int(img[x, y + 1]) \
+ int(img[x + 1, y]) \
+ int(img[x + 1, y + 1])
if sum <= 2 * 245:
img[x, y] = 0
elif x == height - 1: # 右上頂點
sum = int(cur_pixel) \
+ int(img[x, y + 1]) \
+ int(img[x - 1, y]) \
+ int(img[x - 1, y + 1])
if sum <= 2 * 245:
img[x, y] = 0
else: # 最上非頂點,6鄰域
sum = int(img[x - 1, y]) \
+ int(img[x - 1, y + 1]) \
+ int(cur_pixel) \
+ int(img[x, y + 1]) \
+ int(img[x + 1, y]) \
+ int(img[x + 1, y + 1])
if sum <= 3 * 245:
img[x, y] = 0
elif y == width - 1: # 最下面一行
if x == 0: # 左下頂點
# 中心點旁邊3個點
sum = int(cur_pixel) \
+ int(img[x + 1, y]) \
+ int(img[x + 1, y - 1]) \
+ int(img[x, y - 1])
if sum <= 2 * 245:
img[x, y] = 0
elif x == height - 1: # 右下頂點
sum = int(cur_pixel) \
+ int(img[x, y - 1]) \
+ int(img[x - 1, y]) \
+ int(img[x - 1, y - 1])
if sum <= 2 * 245:
img[x, y] = 0
else: # 最下非頂點,6鄰域
sum = int(cur_pixel) \
+ int(img[x - 1, y]) \
+ int(img[x + 1, y]) \
+ int(img[x, y - 1]) \
+ int(img[x - 1, y - 1]) \
+ int(img[x + 1, y - 1])
if sum <= 3 * 245:
img[x, y] = 0
else: # y不在邊界
if x == 0: # 左邊非頂點
sum = int(img[x, y - 1]) \
+ int(cur_pixel) \
+ int(img[x, y + 1]) \
+ int(img[x + 1, y - 1]) \
+ int(img[x + 1, y]) \
+ int(img[x + 1, y + 1])
if sum <= 3 * 245:
img[x, y] = 0
elif x == height - 1: # 右邊非頂點
sum = int(img[x, y - 1]) \
+ int(cur_pixel) \
+ int(img[x, y + 1]) \
+ int(img[x - 1, y - 1]) \
+ int(img[x - 1, y]) \
+ int(img[x - 1, y + 1])
if sum <= 3 * 245:
img[x, y] = 0
else: # 具備9領域條件的
sum = int(img[x - 1, y - 1]) \
+ int(img[x - 1, y]) \
+ int(img[x - 1, y + 1]) \
+ int(img[x, y - 1]) \
+ int(cur_pixel) \
+ int(img[x, y + 1]) \
+ int(img[x + 1, y - 1]) \
+ int(img[x + 1, y]) \
+ int(img[x + 1, y + 1])
if sum <= 4 * 245:
img[x, y] = 0
cv2.imwrite(filename,img)
return img效果：
其實到了這一步，這些字元就可以識別了，沒必要進行字元切割了，現在這三種型別的驗證碼識別率已經達到50%以上了
字元切割
字元切割通常用於驗證碼中有粘連的字元，粘連的字元不好識別，所以我們需要將粘連的字元切割為單個的字元，在進行識別
字元切割的思路就是找到一個黑色的點，然後在遍歷與他相鄰的黑色的點，直到遍歷完所有的連線起來的黑色的點，找出這些點中的最高的點、最低的點、最右邊的點、最左邊的點，記錄下這四個點，認為這是一個字元，然後在向後遍歷點，直至找到黑色的點，繼續以上的步驟。最後通過每個字元的四個點進行切割
圖中紅色的點就是程式碼執行完後，標識出的每個字元的四個點，然後就會根據這四個點進行切割（圖中畫的有些誤差，懂就好）
但是也可以看到，m2是粘連的，程式碼認為他是一個字元，所以我們需要對每個字元的寬度進行檢測，如果他的寬度過寬，我們就認為他是兩個粘連在一起的字元，並將它在從中間切割
確定每個字元的四個點程式碼：
def cfs(im,x_fd,y_fd):
'''用佇列和集合記錄遍歷過的畫素座標代替單純遞迴以解決cfs訪問過深問題
'''
# print('**********')
xaxis=[]
yaxis=[]
visited =set()
q = Queue()
q.put((x_fd, y_fd))
visited.add((x_fd, y_fd))
offsets=[(1, 0), (0, 1), (-1, 0), (0, -1)]#四鄰域
while not q.empty():
x,y=q.get()
for xoffset,yoffset in offsets:
x_neighbor,y_neighbor = x+xoffset,y+yoffset
if (x_neighbor,y_neighbor) in (visited):
continue # 已經訪問過了
visited.add((x_neighbor, y_neighbor))
try:
if im[x_neighbor, y_neighbor] == 0:
xaxis.append(x_neighbor)
yaxis.append(y_neighbor)
q.put((x_neighbor,y_neighbor))
except IndexError:
pass
# print(xaxis)
if (len(xaxis) == 0 | len(yaxis) == 0):
xmax = x_fd + 1
xmin = x_fd
ymax = y_fd + 1
ymin = y_fd
else:
xmax = max(xaxis)
xmin = min(xaxis)
ymax = max(yaxis)
ymin = min(yaxis)
#ymin,ymax=sort(yaxis)
return ymax,ymin,xmax,xmin
def detectFgPix(im,xmax):
'''搜尋區塊起點
'''
h,w = im.shape[:2]
for y_fd in range(xmax+1,w):
for x_fd in range(h):
if im[x_fd,y_fd] == 0:
return x_fd,y_fd
def CFS(im):
'''切割字元位置
'''
zoneL=[]#各區塊長度L列表
zoneWB=[]#各區塊的X軸[起始，終點]列表
zoneHB=[]#各區塊的Y軸[起始，終點]列表
xmax=0#上一區塊結束黑點橫座標,這裡是初始化
for i in range(10):
try:
x_fd,y_fd = detectFgPix(im,xmax)
# print(y_fd,x_fd)
xmax,xmin,ymax,ymin=cfs(im,x_fd,y_fd)
L = xmax - xmin
H = ymax - ymin
zoneL.append(L)
zoneWB.append([xmin,xmax])
zoneHB.append([ymin,ymax])
except TypeError:
return zoneL,zoneWB,zoneHB
return zoneL,zoneWB,zoneHB分割粘連字元程式碼：
# 切割的位置 im_position = CFS(im) maxL = max(im_position[0]) minL = min(im_position[0]) # 如果有粘連字元，如果一個字元的長度過長就認為是粘連字元，並從中間進行切割 if(maxL > minL + minL * 0.7): maxL_index = im_position[0].index(maxL) minL_index = im_position[0].index(minL) # 設定字元的寬度 im_position[0][maxL_index] = maxL // 2 im_position[0].insert(maxL_index + 1, maxL // 2) # 設定字元X軸[起始，終點]位置 im_position[1][maxL_index][1] = im_position[1][maxL_index][0] + maxL // 2 im_position[1].insert(maxL_index + 1, [im_position[1][maxL_index][1] + 1, im_position[1][maxL_index][1] + 1 + maxL // 2]) # 設定字元的Y軸[起始，終點]位置 im_position[2].insert(maxL_index + 1, im_position[2][maxL_index]) # 切割字元，要想切得好就得配置引數，通常 1 or 2 就可以 cutting_img(im,im_position,img_name,1,1)
切割粘連字元程式碼：
def cutting_img(im,im_position,img,xoffset = 1,yoffset = 1):
filename = './out_img/' + img.split('.')[0]
# 識別出的字元個數
im_number = len(im_position[1])
# 切割字元
for i in range(im_number):
im_start_X = im_position[1][i][0] - xoffset
im_end_X = im_position[1][i][1] + xoffset
im_start_Y = im_position[2][i][0] - yoffset
im_end_Y = im_position[2][i][1] + yoffset
cropped = im[im_start_Y:im_end_Y, im_start_X:im_end_X]
cv2.imwrite(filename + '-cutting-' + str(i) + '.jpg',cropped)效果：
識別
識別用的是typesseract庫，主要識別一行字元和單個字元時的引數設定，識別中英文的引數設定，程式碼很簡單就一行，我這裡大多是filter檔案的操作
程式碼：
# 識別驗證碼
cutting_img_num = 0
for file in os.listdir('./out_img'):
str_img = ''
if fnmatch(file, '%s-cutting-*.jpg' % img_name.split('.')[0]):
cutting_img_num += 1
for i in range(cutting_img_num):
try:
file = './out_img/%s-cutting-%s.jpg' % (img_name.split('.')[0], i)
# 識別字元
str_img = str_img + image_to_string(Image.open(file),lang = 'eng', config='-psm 10') #單個字元是10，一行文字是7
except Exception as err:
pass
print('切圖：%s' % cutting_img_num)
print('識別為：%s' % str_img)最後這種粘連字元的識別率是在30%左右，而且這種只是處理兩個字元粘連，如果有兩個以上的字元粘連還不能識別，但是根據字元寬度判別的話也不難，有興趣的可以試一下
無需切割字元識別的效果：
需要切割字元的識別效果：
使用方法：
1、將要識別的驗證碼圖片放入與指令碼同級的img資料夾中，建立out_img資料夾
2、python filename
3、二值化、降噪等各個階段的圖片將儲存在out_img資料夾中，最終識別結果會列印到螢幕上
文章轉自：http://www.cnblogs.com/qqandfqr/p/7866650.html