端到端文字識別CRNN論文解讀

CRNN 論文： An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition

CRNN不定長中文識別專案下載地址： https://download.csdn.net/download/dcrmg/10248818

CRNN是一種卷積迴圈神經網路結構，用於解決基於影象的序列識別問題，特別是場景文字識別問題。CRNN網路結構：

網路結構包含三部分，從下到上依次為：

卷積層

CRNN卷積層由標準的CNN模型中的卷積層和最大池化層組成，自動提取出輸入影象的特徵序列。
與普通CNN網路不同的是，CRNN在訓練之前，先把輸入影象縮放到相同高度（影象寬度維持原樣），論文中使用的高度值是32。

提取的特徵序列中的向量是從特徵圖上從左到右按照順序生成的，每個特徵向量表示了影象上一定寬度上的特徵，論文中使用的這個寬度是1,就是單個畫素。


特別強調序列的順序是因為在之後的迴圈層中，先後順序是LSTM訓練中的一個重要參考量。

迴圈層

轉錄層

CTC模型（Connectionist temporal classification） 聯接時間分類，CTC可以執行端到端的訓練，不要求訓練資料對齊和一一標註，直接輸出不定長的序列結果。

CTC一般連線在RNN網路的最後一層用於序列學習和訓練。對於一段長度為T的序列來說，每個樣本點t（t遠大於T）在RNN網路的最後一層都會輸出一個softmax向量，表示該樣本點的預測概率，所有樣本點的這些概率傳輸給CTC模型後，輸出最可能的標籤，再經過去除空格（blank）和去重操作，就可以得到最終的序列標籤。

網路結構簡圖：

網路結構Keras定義：

def get_model(height,nclass):
    
    input = Input(shape=(height,None,1),name='the_input')
    m = Conv2D(64,kernel_size=(3,3),activation='relu',padding='same',name='conv1')(input)
    m = MaxPooling2D(pool_size=(2,2),strides=(2,2),name='pool1')(m)
    m = Conv2D(128,kernel_size=(3,3),activation='relu',padding='same',name='conv2')(m)
    m = MaxPooling2D(pool_size=(2,2),strides=(2,2),name='pool2')(m)
    m = Conv2D(256,kernel_size=(3,3),activation='relu',padding='same',name='conv3')(m)
    m = Conv2D(256,kernel_size=(3,3),activation='relu',padding='same',name='conv4')(m)

    m = ZeroPadding2D(padding=(0,1))(m)
    m = MaxPooling2D(pool_size=(2,2),strides=(2,1),padding='valid',name='pool3')(m)

    m = Conv2D(512,kernel_size=(3,3),activation='relu',padding='same',name='conv5')(m)
    m = BatchNormalization(axis=1)(m)
    m = Conv2D(512,kernel_size=(3,3),activation='relu',padding='same',name='conv6')(m)
    m = BatchNormalization(axis=1)(m)
    m = ZeroPadding2D(padding=(0,1))(m)
    m = MaxPooling2D(pool_size=(2,2),strides=(2,1),padding='valid',name='pool4')(m)
    m = Conv2D(512,kernel_size=(2,2),activation='relu',padding='valid',name='conv7')(m)

    m = Permute((2,1,3),name='permute')(m)
    m = TimeDistributed(Flatten(),name='timedistrib')(m)

    m = Bidirectional(GRU(rnnunit,return_sequences=True),name='blstm1')(m)
    m = Dense(rnnunit,name='blstm1_out',activation='linear')(m)
    m = Bidirectional(GRU(rnnunit,return_sequences=True),name='blstm2')(m)
    y_pred = Dense(nclass,name='blstm2_out',activation='softmax')(m)

    basemodel = Model(inputs=input,outputs=y_pred)

    labels = Input(name='the_labels', shape=[None,], dtype='float32')
    input_length = Input(name='input_length', shape=[1], dtype='int64')
    label_length = Input(name='label_length', shape=[1], dtype='int64')
    loss_out = Lambda(ctc_lambda_func, output_shape=(1,), name='ctc')([y_pred, labels, input_length, label_length])
    model = Model(inputs=[input, labels, input_length, label_length], outputs=[loss_out])
    # sgd = SGD(lr=0.001, decay=1e-6, momentum=0.9, nesterov=True, clipnorm=5)

    sgd = SGD(lr=0.0003, decay=1e-6, momentum=0.6, nesterov=True, clipnorm=5)
    #model.compile(loss={'ctc': lambda y_true, y_pred: y_pred}, optimizer='adadelta')
    model.compile(loss={'ctc': lambda y_true, y_pred: y_pred}, optimizer=sgd)
    model.summary()

    return model,basemodel