本文我們來用 TensorFlow 來實現一個深度學習模型,用來實現驗證碼識別的過程,這裡識別的驗證碼是圖形驗證碼,首先我們會用標註好的資料來訓練一個模型,然後再用模型來實現這個驗證碼的識別。
1.驗證碼準備
這裡我們使用 python 的 captcha 庫來生成即可,這個庫預設是沒有安裝的,所以這裡我們需要先安裝這個庫,另外我們還需要安裝 pillow 庫

安裝好之後,我們就可以用如下程式碼來生成一個簡單的圖形驗證碼


可以看到圖中的文字正是我們所定義的內容,這樣我們就可以得到一張圖片和其對應的真實文字,接下來我們就可以用它來生成一批訓練資料和測試資料了。
2.預處理
在訓練之前肯定是要進行資料預處理了,現在我們首先定義好了要生成的驗證碼文字內容,這就相當於已經有了 label 了,然後我們再用它來生成驗證碼,就可以得到輸入資料 x 了,在這裡我們首先定義好我們的輸入詞表,由於大小寫字母加數字的詞表比較龐大,設想我們用含有大小寫字母和數字的驗證碼,一個驗證碼四個字元,那麼一共可能的組合是 (26 + 26 + 10) ^ 4 = 14776336 種組合,這個數量訓練起來有點大,所以這裡我們精簡一下,只使用純數字的驗證碼來訓練,這樣其組合個數就變為 10 ^ 4 = 10000 種,顯然少了很多。
所以在這裡我們先定義一個詞表和其長度變數:

這裡 VOCAB 就是詞表的內容,即 0 到 9 這 10 個數字,驗證碼的字元個數即 CAPTCHA_LENGTH 是 4,詞表長度是 VOCAB 的長度,即 10。
接下來我們定義一個生成驗證碼資料的方法,流程類似上文,只不過這裡我們將返回的資料轉為了 Numpy 形式的陣列:

這樣呼叫此方法,我們就可以得到一個 Numpy 陣列了,這個其實是把驗證碼轉化成了每個畫素的 RGB,我們呼叫一下這個方法試試:

內容如下:

可以看到它的 shape 是 (60, 160, 3),這其實代表驗證碼圖片的高度是 60,寬度是 160,是 60 x 160 畫素的驗證碼,每個畫素都有 RGB 值,所以最後一維即為畫素的 RGB 值。
接下來我們需要定義 label,由於我們需要使用深度學習模型進行訓練,所以這裡我們的 label 資料最好使用 One-Hot 編碼,即如果驗證碼文字是 1234,那麼應該詞表索引位置置 1,總共的長度是 40,我們用程式實現一下 One-Hot 編碼和文字的互相轉換:

這裡 text2vec() 方法就是將真實文字轉化為 One-Hot 編碼,vec2text() 方法就是將 One-Hot 編碼轉回真實文字。
例如這裡呼叫一下這兩個方法,我們將 1234 文字轉換為 One-Hot 編碼,然後在將其轉回來:

這樣我們就可以實現文字到 One-Hot 編碼的互轉了。
接下來我們就可以構造一批資料了,x 資料就是驗證碼的 Numpy 陣列,y 資料就是驗證碼的文字的 One-Hot 編碼,生成內容如下:


這裡我們定義了一個 getrandomtext() 方法,可以隨機生成驗證碼文字,然後接下來再利用這個隨機生成的文字來產生對應的 x、y 資料,然後我們再將資料寫入到 pickle 檔案裡,這樣就完成了預處理的操作。
3.構建模型
有了資料之後,我們就開始構建模型吧,這裡我們還是利用 traintestsplit() 方法將資料分為三部分,訓練集、開發集、驗證集:

接下來我們使用者三個資料集構建三個 Dataset 物件:

然後初始化一個迭代器,並繫結到這個資料集上:

接下來就是關鍵的部分了,在這裡我們使用三層卷積和兩層全連線網路進行構造,在這裡為了簡化寫法,直接使用 TensorFlow 的 layers 模組:

這裡卷積核大小為 3,padding 使用 SAME 模式,啟用函式使用 relu。
經過全連線網路變換之後,y 的 shape 就變成了 [batchsize, nclasses],我們的 label 是 CAPTCHALENGTH 個 One-Hot 向量拼合而成的,在這裡我們想使用交叉熵來計算,但是交叉熵計算的時候,label 引數向量最後一維各個元素之和必須為 1,不然計算梯度的時候會出現問題。詳情參見 TensorFlow 的官方文件:
https://www.tensorflow.org/apidocs/python/tf/nn/softmaxcrossentropywithlogits
但是現在的 label 引數是 CAPTCHALENGTH 個 One-Hot 向量拼合而成,所以這裡各個元素之和為 CAPTCHALENGTH,所以我們需要重新 reshape 一下,確保最後一維各個元素之和為 1:

這樣我們就可以確保最後一維是 VOCAB_LENGTH 長度,而它就是一個 One-Hot 向量,所以各元素之和必定為 1。
然後 Loss 和 Accuracy 就好計算了:

再接下來執行訓練即可:

在這裡我們首先初始化 traininitializer,將 iterator 繫結到 Train Dataset 上,然後執行 trainop,獲得 loss、acc、gstep 等結果並輸出。
訓練
執行訓練過程,結果類似如下:

測試
訓練過程我們還可以每隔幾個 Epoch 儲存一下模型:

當然也可以取驗證集上準確率最高的模型進行儲存。
驗證時我們可以重新 Reload 一下模型,然後進行驗證:
