信用卡數字識別

專案簡介

本專案通過實現B站中的專案實踐【信用卡數字識別】，對其中的步驟進行分析，記錄自己學習的過程。

主要思想

對於模板影像和識別影像進行預處理，再通過輪廓檢測對其中感興趣的區域進行拆分，把拆分出來的數字與模板進行匹配，最後得到識別出的數字。

基本步驟

1.模組匯入

from imutils 
import contours
import numpy as np
import argparse
import cv2
import myutils

2.引數設定

argparse是一個Python模組：命令列選項、引數和子命令解析器

# 設定引數
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required=True,
	help="path to input image")
ap.add_argument("-t", "--template", required=True,
	help="path to template OCR-A image")
args = vars(ap.parse_args())

# 指定信用卡型別
FIRST_NUMBER = {
	"3": "American Expr   ess",
	"4": "Visa",
	"5": "MasterCard",
	"6": "Discover Card"
}

# 繪圖展示
def cv_show(name,img):
	cv2.imshow(name, img)
	cv2.waitKey(0)
	cv2.destroyAllWindows()

3.模板影像與輸入影像處理

模板影像

預處理

# 讀取一個模板影像
img = cv2.imread(args["template"])
cv_show('img',img)
# 灰度圖
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv_show('ref',ref)
# 二值影像,大於10的為255（即白色），否則為黑色
#  cv2.threshold的返回值有兩個，一個是retVal（得到的閾值值），第二個就是閾值化後的影像。
ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
cv_show('ref',ref)

結果

讀入影像

二值化處理

閾值處理

輪廓檢測

refCnts, hierarchy = cv2.findContours(ref.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)

cv2.drawContours(img,refCnts,-1,(0,0,255),3) 
cv_show('img',img)
print (np.array(refCnts).shape)
refCnts = contours.sort_contours(refCnts, method="left-to-right")[0] #排序，從左到右，從上到下
digits = {}

# 遍歷每一個輪廓
for (i, c) in enumerate(refCnts):
	# 計算外接矩形並且resize成合適大小
	(x, y, w, h) = cv2.boundingRect(c)
	# 感興趣的區域
	roi = ref[y:y + h, x:x + w]
	# 調整輪廓的大小
	roi = cv2.resize(roi, (57, 88))

	# 每一個數字對應每一個模板
	digits[i] = roi

注意：

• cv2.findContours()函式接受的引數為二值圖，即黑白的（不是灰度圖）
• cv2.RETR_EXTERNAL只檢測外輪廓，cv2.CHAIN_APPROX_SIMPLE只保留終點座標
• 返回的list中每個元素都是影像中的一個輪廓
• 注意cv2中的findContours中返回的是兩個引數，即輪廓的點集和輪廓的索引；cv3中還有一個處理後的影像

結果

畫出輪廓

輸入影像處理

預處理

# 初始化卷積核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 3))

# 讀取輸入影像，預處理
image = cv2.imread(args["image"])
cv_show('image', image)
image = imutils.resize(image, width=300)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray', gray)

# 禮帽操作，突出更明亮的區域
# rectKernel：根據字型區域的大小，指定合適的核
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
cv_show('tophat', tophat)
# sobel運算元
gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0,  # ksize=-1相當於用3*3的
                  ksize=-1)

gradX = np.absolute(gradX)
(minVal, maxVal) = (np.min(gradX), np.max(gradX))
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype("uint8")

print(np.array(gradX).shape)
cv_show('gradX', gradX)

# 通過閉操作（先膨脹，再腐蝕）將數字連在一起
# 將幾個區域塊分出來
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
cv_show('gradX', gradX)
# THRESH_OTSU會自動尋找合適的閾值，適合雙峰，需把閾值引數設定為0
thresh = cv2.threshold(gradX, 0, 255,
                       cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('thresh', thresh)

# 再來一個閉操作，填充其中空的地方

thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel)  # 再來一個閉操作
cv_show('thresh', thresh)

結果

原始影像

灰度圖

禮帽操作

sobel運算元

閉操作：分出區域

自動閾值處理

再一次閉操作

輪廓檢測

# 計算輪廓
threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

cnts = threshCnts
cur_img = image.copy()
cv2.drawContours(cur_img, cnts, -1, (0, 0, 255), 3)
cv_show('img', cur_img)
locs = []

# 遍歷輪廓
for (i, c) in enumerate(cnts):
    # 計算矩形
    (x, y, w, h) = cv2.boundingRect(c)
    # 長寬比
    ar = w / float(h)

    # 選擇合適的區域，根據實際任務來，這裡的基本都是四個數字一組【自己設定】
    if ar > 2.5 and ar < 4.0:

        if (w > 40 and w < 55) and (h > 10 and h < 20):
            # 符合的留下來
            locs.append((x, y, w, h))

# 將符合的輪廓從左到右排序
locs = sorted(locs, key=lambda x: x[0])
output = []

結果

畫出輪廓

檢測出每個區域

模板匹配

# 遍歷每一個輪廓中的數字
for (i, (gX, gY, gW, gH)) in enumerate(locs):
    # initialize the list of group digits
    groupOutput = []

    # 根據座標提取每一個組
    group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
    cv_show('group', group)
    # 預處理
    group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
    cv_show('group', group)
    # 計算每一組的輪廓
    # group_,\
    digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL,
                                            cv2.CHAIN_APPROX_SIMPLE)
    digitCnts = contours.sort_contours(digitCnts, method="left-to-right")[0]

    # 計算每一組中的每一個數值
    for c in digitCnts:
        # 找到當前數值的輪廓，resize成合適的的大小
        (x, y, w, h) = cv2.boundingRect(c)
        roi = group[y:y + h, x:x + w]
        roi = cv2.resize(roi, (57, 88))
        cv_show('roi', roi)

        # 計算匹配得分
        scores = []

        # 在模板中計算每一個得分
        for (digit, digitROI) in digits.items():
            # 模板匹配
            result = cv2.matchTemplate(roi, digitROI,
                                       cv2.TM_CCOEFF)
            (_, score, _, _) = cv2.minMaxLoc(result)
            scores.append(score)

        # 得到最合適的數字
        groupOutput.append(str(np.argmax(scores)))

    # 畫出來
    cv2.rectangle(image, (gX - 5, gY - 5),
                  (gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
    cv2.putText(image, "".join(groupOutput), (gX, gY - 15),
                cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)

    # 得到結果
    output.extend(groupOutput)

最終結果

3.結果輸出

# 列印結果
print("Credit Card Type: {}".format(FIRST_NUMBER[output[0]]))
print("Credit Card #: {}".format("".join(output)))
cv2.imshow("Image", image)
cv2.waitKey(0)

(10,)
(188, 300)
Credit Card Type: Visa
Credit Card #: 4020340002345678

總結

對於影像處理的基本操作以及常見函式的使用有了深刻的瞭解，但是其中的細節還是需要深入的思考。