深度殘差網路+自適應引數化ReLU啟用函式（調參記錄4）

續上一篇：

深度殘差網路+自適應引數化ReLU啟用函式（調參記錄3）

https://blog.csdn.net/dangqing1988/article/details/105601313

本文在深度殘差網路中採用了自適應引數化ReLU啟用函式，繼續測試其在Cifar10影像集上的效果。與上一篇不同的是，這次修改了殘差模組裡面的結構，原先是兩個3×3的卷積層，現在改成了1×1→3×3→1×1的瓶頸式結構，從而網路層數是加深了，但是引數規模減小了。

其中，自適應引數化ReLU是Parametric ReLU的改進版本：

具體Keras程式碼如下：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Tue Apr 14 04:17:45 2020
Implemented using TensorFlow 1.10.0 and Keras 2.2.1
Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Shaojiang Dong, Michael Pecht,
Deep Residual Networks with Adaptively Parametric Rectifier Linear Units for Fault Diagnosis, 
IEEE Transactions on Industrial Electronics, 2020,  DOI: 10.1109/TIE.2020.2972458 
@author: Minghang Zhao
"""
from __future__ import print_function
import keras
import numpy as np
from keras.datasets import cifar10
from keras.layers import Dense, Conv2D, BatchNormalization, Activation, Minimum
from keras.layers import AveragePooling2D, Input, GlobalAveragePooling2D, Concatenate, Reshape
from keras.regularizers import l2
from keras import backend as K
from keras.models import Model
from keras import optimizers
from keras.preprocessing.image import ImageDataGenerator
from keras.callbacks import LearningRateScheduler
K.set_learning_phase(1)
# The data, split between train and test sets
(x_train, y_train), (x_test, y_test) = cifar10.load_data()
# Noised data
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_test = x_test-np.mean(x_train)
x_train = x_train-np.mean(x_train)
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')
# convert class vectors to binary class matrices
y_train = keras.utils.to_categorical(y_train, 10)
y_test = keras.utils.to_categorical(y_test, 10)
# Schedule the learning rate, multiply 0.1 every 200 epoches
def scheduler(epoch):
    if epoch % 200 == 0 and epoch != 0:
        lr = K.get_value(model.optimizer.lr)
        K.set_value(model.optimizer.lr, lr * 0.1)
        print("lr changed to {}".format(lr * 0.1))
    return K.get_value(model.optimizer.lr)
# An adaptively parametric rectifier linear unit (APReLU)
def aprelu(inputs):
    # get the number of channels
    channels = inputs.get_shape().as_list()[-1]
    # get a zero feature map
    zeros_input = keras.layers.subtract([inputs, inputs])
    # get a feature map with only positive features
    pos_input = Activation('relu')(inputs)
    # get a feature map with only negative features
    neg_input = Minimum()([inputs,zeros_input])
    # define a network to obtain the scaling coefficients
    scales_p = GlobalAveragePooling2D()(pos_input)
    scales_n = GlobalAveragePooling2D()(neg_input)
    scales = Concatenate()([scales_n, scales_p])
    scales = Dense(channels//4, activation='linear', kernel_initializer='he_normal', kernel_regularizer=l2(1e-4))(scales)
    scales = BatchNormalization()(scales)
    scales = Activation('relu')(scales)
    scales = Dense(channels, activation='linear', kernel_initializer='he_normal', kernel_regularizer=l2(1e-4))(scales)
    scales = BatchNormalization()(scales)
    scales = Activation('sigmoid')(scales)
    scales = Reshape((1,1,channels))(scales)
    # apply a paramtetric relu
    neg_part = keras.layers.multiply([scales, neg_input])
    return keras.layers.add([pos_input, neg_part])
# Residual Block
def residual_block(incoming, nb_blocks, out_channels, downsample=False,
                   downsample_strides=2):
    
    residual = incoming
    in_channels = incoming.get_shape().as_list()[-1]
    
    for i in range(nb_blocks):
        
        identity = residual
        
        if not downsample:
            downsample_strides = 1
        
        residual = BatchNormalization()(residual)
        residual = aprelu(residual)
        residual = Conv2D(out_channels//4, 1, strides=(downsample_strides, downsample_strides), 
                          padding='same', kernel_initializer='he_normal', 
                          kernel_regularizer=l2(1e-4))(residual)
        
        residual = BatchNormalization()(residual)
        residual = aprelu(residual)
        residual = Conv2D(out_channels//4, 3, padding='same', kernel_initializer='he_normal', 
                          kernel_regularizer=l2(1e-4))(residual)
        
        residual = BatchNormalization()(residual)
        residual = aprelu(residual)
        residual = Conv2D(out_channels, 1, padding='same', kernel_initializer='he_normal', 
                          kernel_regularizer=l2(1e-4))(residual)
        
        # Downsampling
        if downsample_strides > 1:
            identity = AveragePooling2D(pool_size=(1,1), strides=(2,2))(identity)
            
        # Zero_padding to match channels
        if in_channels != out_channels:
            zeros_identity = keras.layers.subtract([identity, identity])
            identity = keras.layers.concatenate([identity, zeros_identity])
            in_channels = out_channels
        
        residual = keras.layers.add([residual, identity])
    
    return residual
# define and train a model
inputs = Input(shape=(32, 32, 3))
net = Conv2D(16, 3, padding='same', kernel_initializer='he_normal', kernel_regularizer=l2(1e-4))(inputs)
net = residual_block(net, 9, 16, downsample=False)
net = residual_block(net, 1, 32, downsample=True)
net = residual_block(net, 8, 32, downsample=False)
net = residual_block(net, 1, 64, downsample=True)
net = residual_block(net, 8, 64, downsample=False)
net = BatchNormalization()(net)
net = aprelu(net)
net = GlobalAveragePooling2D()(net)
outputs = Dense(10, activation='softmax', kernel_initializer='he_normal', kernel_regularizer=l2(1e-4))(net)
model = Model(inputs=inputs, outputs=outputs)
sgd = optimizers.SGD(lr=0.1, decay=0., momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])
# data augmentation
datagen = ImageDataGenerator(
    # randomly rotate images in the range (deg 0 to 180)
    rotation_range=30,
    # randomly flip images
    horizontal_flip=True,
    # randomly shift images horizontally
    width_shift_range=0.125,
    # randomly shift images vertically
    height_shift_range=0.125)
reduce_lr = LearningRateScheduler(scheduler)
# fit the model on the batches generated by datagen.flow().
model.fit_generator(datagen.flow(x_train, y_train, batch_size=100),
                    validation_data=(x_test, y_test), epochs=500, 
                    verbose=1, callbacks=[reduce_lr], workers=4)
# get results
K.set_learning_phase(0)
DRSN_train_score1 = model.evaluate(x_train, y_train, batch_size=100, verbose=0)
print('Train loss:', DRSN_train_score1[0])
print('Train accuracy:', DRSN_train_score1[1])
DRSN_test_score1 = model.evaluate(x_test, y_test, batch_size=100, verbose=0)
print('Test loss:', DRSN_test_score1[0])
print('Test accuracy:', DRSN_test_score1[1])

實驗結果如下：

Using TensorFlow backend.
x_train shape: (50000, 32, 32, 3)
50000 train samples
10000 test samples
Epoch 1/500
500/500 [==============================] - 120s 241ms/step - loss: 2.3085 - acc: 0.3898 - val_loss: 1.9532 - val_acc: 0.5094
Epoch 2/500
500/500 [==============================] - 77s 154ms/step - loss: 1.8971 - acc: 0.5130 - val_loss: 1.7076 - val_acc: 0.5678
Epoch 3/500
500/500 [==============================] - 77s 154ms/step - loss: 1.6755 - acc: 0.5682 - val_loss: 1.5036 - val_acc: 0.6182
Epoch 4/500
500/500 [==============================] - 77s 154ms/step - loss: 1.5174 - acc: 0.6061 - val_loss: 1.3494 - val_acc: 0.6591
Epoch 5/500
500/500 [==============================] - 77s 154ms/step - loss: 1.4061 - acc: 0.6334 - val_loss: 1.2835 - val_acc: 0.6646
Epoch 6/500
500/500 [==============================] - 77s 154ms/step - loss: 1.3085 - acc: 0.6570 - val_loss: 1.1890 - val_acc: 0.6935
Epoch 7/500
500/500 [==============================] - 77s 154ms/step - loss: 1.2315 - acc: 0.6730 - val_loss: 1.1236 - val_acc: 0.7082
Epoch 8/500
500/500 [==============================] - 77s 154ms/step - loss: 1.1676 - acc: 0.6870 - val_loss: 1.1081 - val_acc: 0.7100
Epoch 9/500
500/500 [==============================] - 77s 154ms/step - loss: 1.1105 - acc: 0.7017 - val_loss: 0.9947 - val_acc: 0.7442
Epoch 10/500
500/500 [==============================] - 77s 153ms/step - loss: 1.0784 - acc: 0.7076 - val_loss: 1.0079 - val_acc: 0.7378
Epoch 11/500
500/500 [==============================] - 77s 154ms/step - loss: 1.0402 - acc: 0.7166 - val_loss: 0.9686 - val_acc: 0.7456
Epoch 12/500
500/500 [==============================] - 77s 154ms/step - loss: 1.0044 - acc: 0.7279 - val_loss: 0.9421 - val_acc: 0.7506
Epoch 13/500
500/500 [==============================] - 77s 155ms/step - loss: 0.9791 - acc: 0.7356 - val_loss: 0.9316 - val_acc: 0.7550
Epoch 14/500
500/500 [==============================] - 77s 154ms/step - loss: 0.9566 - acc: 0.7431 - val_loss: 0.9106 - val_acc: 0.7567
Epoch 15/500
500/500 [==============================] - 77s 154ms/step - loss: 0.9392 - acc: 0.7477 - val_loss: 0.8879 - val_acc: 0.7676
Epoch 16/500
500/500 [==============================] - 77s 153ms/step - loss: 0.9217 - acc: 0.7505 - val_loss: 0.8706 - val_acc: 0.7739
Epoch 17/500
500/500 [==============================] - 77s 154ms/step - loss: 0.9025 - acc: 0.7599 - val_loss: 0.8551 - val_acc: 0.7766
Epoch 18/500
500/500 [==============================] - 77s 153ms/step - loss: 0.8995 - acc: 0.7572 - val_loss: 0.8515 - val_acc: 0.7750
Epoch 19/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8803 - acc: 0.7643 - val_loss: 0.8657 - val_acc: 0.7683
Epoch 20/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8713 - acc: 0.7682 - val_loss: 0.8249 - val_acc: 0.7861
Epoch 21/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8625 - acc: 0.7710 - val_loss: 0.8161 - val_acc: 0.7896
Epoch 22/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8532 - acc: 0.7746 - val_loss: 0.8149 - val_acc: 0.7865
Epoch 23/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8529 - acc: 0.7745 - val_loss: 0.8192 - val_acc: 0.7913
Epoch 24/500
500/500 [==============================] - 77s 153ms/step - loss: 0.8398 - acc: 0.7789 - val_loss: 0.7975 - val_acc: 0.7978
Epoch 25/500
500/500 [==============================] - 77s 153ms/step - loss: 0.8343 - acc: 0.7811 - val_loss: 0.8067 - val_acc: 0.7909
Epoch 26/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8250 - acc: 0.7831 - val_loss: 0.7864 - val_acc: 0.8016
Epoch 27/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8227 - acc: 0.7835 - val_loss: 0.7928 - val_acc: 0.8000
Epoch 28/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8189 - acc: 0.7867 - val_loss: 0.7823 - val_acc: 0.8053
Epoch 29/500
500/500 [==============================] - 77s 155ms/step - loss: 0.8156 - acc: 0.7869 - val_loss: 0.7825 - val_acc: 0.8014
Epoch 30/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8081 - acc: 0.7916 - val_loss: 0.7704 - val_acc: 0.8074
Epoch 31/500
500/500 [==============================] - 77s 154ms/step - loss: 0.8014 - acc: 0.7933 - val_loss: 0.7806 - val_acc: 0.8007
Epoch 32/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7975 - acc: 0.7931 - val_loss: 0.7764 - val_acc: 0.8056
Epoch 33/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7908 - acc: 0.7942 - val_loss: 0.7652 - val_acc: 0.8103
Epoch 34/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7939 - acc: 0.7966 - val_loss: 0.7660 - val_acc: 0.8078
Epoch 35/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7882 - acc: 0.7990 - val_loss: 0.7669 - val_acc: 0.8069
Epoch 36/500
500/500 [==============================] - 77s 155ms/step - loss: 0.7811 - acc: 0.7998 - val_loss: 0.7603 - val_acc: 0.8101
Epoch 37/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7745 - acc: 0.8037 - val_loss: 0.7537 - val_acc: 0.8182
Epoch 38/500
500/500 [==============================] - 77s 155ms/step - loss: 0.7791 - acc: 0.8000 - val_loss: 0.7441 - val_acc: 0.8194
Epoch 39/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7722 - acc: 0.8025 - val_loss: 0.7907 - val_acc: 0.8011
Epoch 40/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7683 - acc: 0.8047 - val_loss: 0.7622 - val_acc: 0.8128
Epoch 41/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7689 - acc: 0.8057 - val_loss: 0.7767 - val_acc: 0.8015
Epoch 42/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7618 - acc: 0.8069 - val_loss: 0.7487 - val_acc: 0.8159
Epoch 43/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7587 - acc: 0.8097 - val_loss: 0.7490 - val_acc: 0.8192
Epoch 44/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7593 - acc: 0.8096 - val_loss: 0.7403 - val_acc: 0.8170
Epoch 45/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7558 - acc: 0.8116 - val_loss: 0.7475 - val_acc: 0.8193
Epoch 46/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7565 - acc: 0.8121 - val_loss: 0.7392 - val_acc: 0.8189
Epoch 47/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7480 - acc: 0.8127 - val_loss: 0.7472 - val_acc: 0.8176
Epoch 48/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7505 - acc: 0.8134 - val_loss: 0.7340 - val_acc: 0.8235
Epoch 49/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7404 - acc: 0.8166 - val_loss: 0.7199 - val_acc: 0.8267
Epoch 50/500
500/500 [==============================] - 77s 155ms/step - loss: 0.7421 - acc: 0.8150 - val_loss: 0.7194 - val_acc: 0.8267
Epoch 51/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7408 - acc: 0.8172 - val_loss: 0.7321 - val_acc: 0.8207
Epoch 52/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7364 - acc: 0.8177 - val_loss: 0.7517 - val_acc: 0.8151
Epoch 53/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7362 - acc: 0.8194 - val_loss: 0.7171 - val_acc: 0.8279
Epoch 54/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7341 - acc: 0.8193 - val_loss: 0.7596 - val_acc: 0.8130
Epoch 55/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7354 - acc: 0.8193 - val_loss: 0.7331 - val_acc: 0.8215
Epoch 56/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7297 - acc: 0.8224 - val_loss: 0.7168 - val_acc: 0.8315
Epoch 57/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7287 - acc: 0.8206 - val_loss: 0.7042 - val_acc: 0.8354
Epoch 58/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7267 - acc: 0.8237 - val_loss: 0.7507 - val_acc: 0.8162
Epoch 59/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7246 - acc: 0.8241 - val_loss: 0.7273 - val_acc: 0.8239
Epoch 60/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7220 - acc: 0.8242 - val_loss: 0.7350 - val_acc: 0.8221
Epoch 61/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7167 - acc: 0.8258 - val_loss: 0.7064 - val_acc: 0.8318
Epoch 62/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7158 - acc: 0.8277 - val_loss: 0.6990 - val_acc: 0.8348
Epoch 63/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7177 - acc: 0.8259 - val_loss: 0.6947 - val_acc: 0.8388
Epoch 64/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7143 - acc: 0.8265 - val_loss: 0.7235 - val_acc: 0.8283
Epoch 65/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7167 - acc: 0.8254 - val_loss: 0.7047 - val_acc: 0.8342
Epoch 66/500
500/500 [==============================] - 77s 153ms/step - loss: 0.7151 - acc: 0.8277 - val_loss: 0.6992 - val_acc: 0.8320
Epoch 67/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7085 - acc: 0.8278 - val_loss: 0.7052 - val_acc: 0.8334
Epoch 68/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7053 - acc: 0.8295 - val_loss: 0.6973 - val_acc: 0.8396
Epoch 69/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7057 - acc: 0.8291 - val_loss: 0.7047 - val_acc: 0.8371
Epoch 70/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6973 - acc: 0.8343 - val_loss: 0.6958 - val_acc: 0.8375
Epoch 71/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7018 - acc: 0.8310 - val_loss: 0.6887 - val_acc: 0.8405
Epoch 72/500
500/500 [==============================] - 77s 154ms/step - loss: 0.7030 - acc: 0.8333 - val_loss: 0.7100 - val_acc: 0.8301
Epoch 73/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6993 - acc: 0.8326 - val_loss: 0.7093 - val_acc: 0.8332
Epoch 74/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6995 - acc: 0.8319 - val_loss: 0.6969 - val_acc: 0.8350
Epoch 75/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6941 - acc: 0.8346 - val_loss: 0.6762 - val_acc: 0.8436
Epoch 76/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6976 - acc: 0.8329 - val_loss: 0.7143 - val_acc: 0.8304
Epoch 77/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6965 - acc: 0.8335 - val_loss: 0.6836 - val_acc: 0.8411
Epoch 78/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6950 - acc: 0.8327 - val_loss: 0.6773 - val_acc: 0.8439
Epoch 79/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6961 - acc: 0.8328 - val_loss: 0.6982 - val_acc: 0.8375
Epoch 80/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6882 - acc: 0.8368 - val_loss: 0.6908 - val_acc: 0.8396
Epoch 81/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6935 - acc: 0.8363 - val_loss: 0.6779 - val_acc: 0.8439
Epoch 82/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6927 - acc: 0.8354 - val_loss: 0.6916 - val_acc: 0.8419
Epoch 83/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6884 - acc: 0.8391 - val_loss: 0.6962 - val_acc: 0.8402
Epoch 84/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6887 - acc: 0.8379 - val_loss: 0.6850 - val_acc: 0.8401
Epoch 85/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6843 - acc: 0.8384 - val_loss: 0.6836 - val_acc: 0.8411
Epoch 86/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6855 - acc: 0.8383 - val_loss: 0.6807 - val_acc: 0.8445
Epoch 87/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6829 - acc: 0.8387 - val_loss: 0.6820 - val_acc: 0.8401
Epoch 88/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6790 - acc: 0.8392 - val_loss: 0.6677 - val_acc: 0.8467
Epoch 89/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6774 - acc: 0.8402 - val_loss: 0.6831 - val_acc: 0.8440
Epoch 90/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6812 - acc: 0.8382 - val_loss: 0.6896 - val_acc: 0.8386
Epoch 91/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6746 - acc: 0.8427 - val_loss: 0.6830 - val_acc: 0.8411
Epoch 92/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6778 - acc: 0.8405 - val_loss: 0.6687 - val_acc: 0.8468
Epoch 93/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6731 - acc: 0.8431 - val_loss: 0.6864 - val_acc: 0.8394
Epoch 94/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6788 - acc: 0.8392 - val_loss: 0.6786 - val_acc: 0.8463
Epoch 95/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6753 - acc: 0.8423 - val_loss: 0.6808 - val_acc: 0.8412
Epoch 96/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6690 - acc: 0.8429 - val_loss: 0.6927 - val_acc: 0.8391
Epoch 97/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6753 - acc: 0.8423 - val_loss: 0.6716 - val_acc: 0.8441
Epoch 98/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6699 - acc: 0.8422 - val_loss: 0.6747 - val_acc: 0.8440
Epoch 99/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6688 - acc: 0.8433 - val_loss: 0.6736 - val_acc: 0.8437
Epoch 100/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6634 - acc: 0.8457 - val_loss: 0.6707 - val_acc: 0.8503
Epoch 101/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6740 - acc: 0.8415 - val_loss: 0.6442 - val_acc: 0.8537
Epoch 102/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6675 - acc: 0.8446 - val_loss: 0.6883 - val_acc: 0.8409
Epoch 103/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6691 - acc: 0.8440 - val_loss: 0.6699 - val_acc: 0.8462
Epoch 104/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6693 - acc: 0.8440 - val_loss: 0.6707 - val_acc: 0.8458
Epoch 105/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6675 - acc: 0.8449 - val_loss: 0.6566 - val_acc: 0.8498
Epoch 106/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6672 - acc: 0.8451 - val_loss: 0.6699 - val_acc: 0.8458
Epoch 107/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6633 - acc: 0.8457 - val_loss: 0.6869 - val_acc: 0.8418
Epoch 108/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6596 - acc: 0.8488 - val_loss: 0.6673 - val_acc: 0.8478
Epoch 109/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6624 - acc: 0.8461 - val_loss: 0.6827 - val_acc: 0.8412
Epoch 110/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6635 - acc: 0.8460 - val_loss: 0.6767 - val_acc: 0.8430
Epoch 111/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6697 - acc: 0.8428 - val_loss: 0.6469 - val_acc: 0.8534
Epoch 112/500
500/500 [==============================] - 76s 151ms/step - loss: 0.6627 - acc: 0.8462 - val_loss: 0.6411 - val_acc: 0.8577
Epoch 113/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6569 - acc: 0.8489 - val_loss: 0.6673 - val_acc: 0.8461
Epoch 114/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6587 - acc: 0.8473 - val_loss: 0.6665 - val_acc: 0.8496
Epoch 115/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6560 - acc: 0.8479 - val_loss: 0.6657 - val_acc: 0.8488
Epoch 116/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6618 - acc: 0.8453 - val_loss: 0.6782 - val_acc: 0.8442
Epoch 117/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6562 - acc: 0.8485 - val_loss: 0.6739 - val_acc: 0.8462
Epoch 118/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6620 - acc: 0.8462 - val_loss: 0.6819 - val_acc: 0.8442
Epoch 119/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6565 - acc: 0.8486 - val_loss: 0.6531 - val_acc: 0.8522
Epoch 120/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6540 - acc: 0.8496 - val_loss: 0.6637 - val_acc: 0.8491
Epoch 121/500
500/500 [==============================] - 76s 151ms/step - loss: 0.6567 - acc: 0.8478 - val_loss: 0.6507 - val_acc: 0.8541
Epoch 122/500
500/500 [==============================] - 11497s 23s/step - loss: 0.6484 - acc: 0.8514 - val_loss: 0.6679 - val_acc: 0.8465
Epoch 123/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6552 - acc: 0.8494 - val_loss: 0.6700 - val_acc: 0.8468
Epoch 124/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6600 - acc: 0.8483 - val_loss: 0.6685 - val_acc: 0.8459
Epoch 125/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6523 - acc: 0.8499 - val_loss: 0.6754 - val_acc: 0.8435
Epoch 126/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6493 - acc: 0.8512 - val_loss: 0.6487 - val_acc: 0.8515
Epoch 127/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6507 - acc: 0.8513 - val_loss: 0.6703 - val_acc: 0.8469
Epoch 128/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6552 - acc: 0.8484 - val_loss: 0.6527 - val_acc: 0.8506
Epoch 129/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6500 - acc: 0.8507 - val_loss: 0.6682 - val_acc: 0.8449
Epoch 130/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6534 - acc: 0.8480 - val_loss: 0.6600 - val_acc: 0.8496
Epoch 131/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6524 - acc: 0.8507 - val_loss: 0.6506 - val_acc: 0.8505
Epoch 132/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6489 - acc: 0.8507 - val_loss: 0.6674 - val_acc: 0.8452
Epoch 133/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6499 - acc: 0.8493 - val_loss: 0.6742 - val_acc: 0.8425
Epoch 134/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6457 - acc: 0.8519 - val_loss: 0.6522 - val_acc: 0.8516
Epoch 135/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6458 - acc: 0.8532 - val_loss: 0.6407 - val_acc: 0.8539
Epoch 136/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6478 - acc: 0.8512 - val_loss: 0.6575 - val_acc: 0.8492
Epoch 137/500
500/500 [==============================] - 76s 151ms/step - loss: 0.6488 - acc: 0.8508 - val_loss: 0.6673 - val_acc: 0.8456
Epoch 138/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6476 - acc: 0.8524 - val_loss: 0.6545 - val_acc: 0.8523
Epoch 139/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6517 - acc: 0.8507 - val_loss: 0.6555 - val_acc: 0.8491
Epoch 140/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6456 - acc: 0.8531 - val_loss: 0.6658 - val_acc: 0.8460
Epoch 141/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6374 - acc: 0.8545 - val_loss: 0.6624 - val_acc: 0.8463
Epoch 142/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6437 - acc: 0.8536 - val_loss: 0.6469 - val_acc: 0.8533
Epoch 143/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6424 - acc: 0.8520 - val_loss: 0.6703 - val_acc: 0.8469
Epoch 144/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6451 - acc: 0.8515 - val_loss: 0.6561 - val_acc: 0.8507
Epoch 145/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6472 - acc: 0.8526 - val_loss: 0.6473 - val_acc: 0.8531
Epoch 146/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6491 - acc: 0.8518 - val_loss: 0.6320 - val_acc: 0.8589
Epoch 147/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6441 - acc: 0.8526 - val_loss: 0.6574 - val_acc: 0.8489
Epoch 148/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6453 - acc: 0.8537 - val_loss: 0.6722 - val_acc: 0.8487
Epoch 149/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6403 - acc: 0.8539 - val_loss: 0.6543 - val_acc: 0.8572
Epoch 150/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6441 - acc: 0.8541 - val_loss: 0.6431 - val_acc: 0.8557
Epoch 151/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6407 - acc: 0.8538 - val_loss: 0.6498 - val_acc: 0.8531
Epoch 152/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6399 - acc: 0.8538 - val_loss: 0.6524 - val_acc: 0.8497
Epoch 153/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6410 - acc: 0.8544 - val_loss: 0.6563 - val_acc: 0.8512
Epoch 154/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6456 - acc: 0.8519 - val_loss: 0.6538 - val_acc: 0.8516
Epoch 155/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6401 - acc: 0.8558 - val_loss: 0.6553 - val_acc: 0.8501
Epoch 156/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6405 - acc: 0.8544 - val_loss: 0.6576 - val_acc: 0.8497
Epoch 157/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6401 - acc: 0.8543 - val_loss: 0.6637 - val_acc: 0.8479
Epoch 158/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6401 - acc: 0.8553 - val_loss: 0.6510 - val_acc: 0.8554
Epoch 159/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6423 - acc: 0.8539 - val_loss: 0.6451 - val_acc: 0.8572
Epoch 160/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6376 - acc: 0.8538 - val_loss: 0.6690 - val_acc: 0.8443
Epoch 161/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6383 - acc: 0.8558 - val_loss: 0.6621 - val_acc: 0.8492
Epoch 162/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6416 - acc: 0.8546 - val_loss: 0.6488 - val_acc: 0.8557
Epoch 163/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6386 - acc: 0.8549 - val_loss: 0.6317 - val_acc: 0.8617
Epoch 164/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6391 - acc: 0.8552 - val_loss: 0.6382 - val_acc: 0.8588
Epoch 165/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6403 - acc: 0.8549 - val_loss: 0.6447 - val_acc: 0.8544
Epoch 166/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6400 - acc: 0.8573 - val_loss: 0.6600 - val_acc: 0.8483
Epoch 167/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6347 - acc: 0.8560 - val_loss: 0.6413 - val_acc: 0.8535
Epoch 168/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6368 - acc: 0.8557 - val_loss: 0.6468 - val_acc: 0.8515
Epoch 169/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6349 - acc: 0.8563 - val_loss: 0.6686 - val_acc: 0.8480
Epoch 170/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6369 - acc: 0.8557 - val_loss: 0.6449 - val_acc: 0.8560
Epoch 171/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6362 - acc: 0.8563 - val_loss: 0.6538 - val_acc: 0.8521
Epoch 172/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6321 - acc: 0.8593 - val_loss: 0.6543 - val_acc: 0.8522
Epoch 173/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6356 - acc: 0.8569 - val_loss: 0.6445 - val_acc: 0.8512
Epoch 174/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6325 - acc: 0.8579 - val_loss: 0.6493 - val_acc: 0.8551
Epoch 175/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6330 - acc: 0.8563 - val_loss: 0.6438 - val_acc: 0.8572
Epoch 176/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6361 - acc: 0.8547 - val_loss: 0.6432 - val_acc: 0.8532
Epoch 177/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6322 - acc: 0.8577 - val_loss: 0.6377 - val_acc: 0.8582
Epoch 178/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6476 - acc: 0.8526 - val_loss: 0.6434 - val_acc: 0.8561
Epoch 179/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6403 - acc: 0.8540 - val_loss: 0.6569 - val_acc: 0.8529
Epoch 180/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6362 - acc: 0.8583 - val_loss: 0.6436 - val_acc: 0.8543
Epoch 181/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6300 - acc: 0.8584 - val_loss: 0.6335 - val_acc: 0.8593
Epoch 182/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6360 - acc: 0.8565 - val_loss: 0.6460 - val_acc: 0.8554
Epoch 183/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6344 - acc: 0.8567 - val_loss: 0.6584 - val_acc: 0.8471
Epoch 184/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6354 - acc: 0.8553 - val_loss: 0.6409 - val_acc: 0.8561
Epoch 185/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6327 - acc: 0.8578 - val_loss: 0.6422 - val_acc: 0.8590
Epoch 186/500
500/500 [==============================] - 76s 151ms/step - loss: 0.6338 - acc: 0.8570 - val_loss: 0.6434 - val_acc: 0.8542
Epoch 187/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6283 - acc: 0.8595 - val_loss: 0.6485 - val_acc: 0.8521
Epoch 188/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6320 - acc: 0.8565 - val_loss: 0.6415 - val_acc: 0.8560
Epoch 189/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6330 - acc: 0.8579 - val_loss: 0.6354 - val_acc: 0.8569
Epoch 190/500
500/500 [==============================] - 76s 152ms/step - loss: 0.6260 - acc: 0.8586 - val_loss: 0.6583 - val_acc: 0.8527
Epoch 191/500
500/500 [==============================] - 76s 153ms/step - loss: 0.6341 - acc: 0.8577 - val_loss: 0.6381 - val_acc: 0.8549
Epoch 192/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6313 - acc: 0.8585 - val_loss: 0.6428 - val_acc: 0.8584
Epoch 193/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6297 - acc: 0.8596 - val_loss: 0.6445 - val_acc: 0.8595
Epoch 194/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6316 - acc: 0.8579 - val_loss: 0.6446 - val_acc: 0.8578
Epoch 195/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6313 - acc: 0.8571 - val_loss: 0.6604 - val_acc: 0.8468
Epoch 196/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6287 - acc: 0.8586 - val_loss: 0.6461 - val_acc: 0.8552
Epoch 197/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6264 - acc: 0.8597 - val_loss: 0.6453 - val_acc: 0.8543
Epoch 198/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6274 - acc: 0.8607 - val_loss: 0.6451 - val_acc: 0.8571
Epoch 199/500
500/500 [==============================] - 77s 153ms/step - loss: 0.6314 - acc: 0.8591 - val_loss: 0.6473 - val_acc: 0.8520
Epoch 200/500
500/500 [==============================] - 77s 154ms/step - loss: 0.6247 - acc: 0.8619 - val_loss: 0.6640 - val_acc: 0.8488
Epoch 201/500
lr changed to 0.010000000149011612
500/500 [==============================] - 77s 154ms/step - loss: 0.5292 - acc: 0.8930 - val_loss: 0.5489 - val_acc: 0.8836
Epoch 202/500
500/500 [==============================] - 77s 154ms/step - loss: 0.4786 - acc: 0.9093 - val_loss: 0.5324 - val_acc: 0.8892
Epoch 203/500
500/500 [==============================] - 77s 154ms/step - loss: 0.4603 - acc: 0.9141 - val_loss: 0.5308 - val_acc: 0.8910
Epoch 204/500
500/500 [==============================] - 77s 153ms/step - loss: 0.4479 - acc: 0.9178 - val_loss: 0.5217 - val_acc: 0.8902
Epoch 205/500
500/500 [==============================] - 77s 154ms/step - loss: 0.4347 - acc: 0.9205 - val_loss: 0.5181 - val_acc: 0.8903
Epoch 206/500
500/500 [==============================] - 77s 154ms/step - loss: 0.4242 - acc: 0.9231 - val_loss: 0.5082 - val_acc: 0.8923
Epoch 207/500
500/500 [==============================] - 77s 154ms/step - loss: 0.4196 - acc: 0.9232 - val_loss: 0.5086 - val_acc: 0.8921
Epoch 208/500
500/500 [==============================] - 77s 154ms/step - loss: 0.4097 - acc: 0.9255 - val_loss: 0.5067 - val_acc: 0.8932
Epoch 209/500
500/500 [==============================] - 77s 154ms/step - loss: 0.4044 - acc: 0.9268 - val_loss: 0.5012 - val_acc: 0.8936
Epoch 210/500
500/500 [==============================] - 77s 154ms/step - loss: 0.3980 - acc: 0.9289 - val_loss: 0.5063 - val_acc: 0.8919
Epoch 211/500
500/500 [==============================] - 77s 154ms/step - loss: 0.3907 - acc: 0.9294 - val_loss: 0.4907 - val_acc: 0.8964
Epoch 212/500
500/500 [==============================] - 77s 154ms/step - loss: 0.3868 - acc: 0.9292 - val_loss: 0.4941 - val_acc: 0.8922
Epoch 213/500
500/500 [==============================] - 77s 155ms/step - loss: 0.3798 - acc: 0.9311 - val_loss: 0.4935 - val_acc: 0.8914
Epoch 214/500
500/500 [==============================] - 77s 154ms/step - loss: 0.3730 - acc: 0.9321 - val_loss: 0.4874 - val_acc: 0.8955
Epoch 215/500
500/500 [==============================] - 77s 154ms/step - loss: 0.3713 - acc: 0.9308 - val_loss: 0.4870 - val_acc: 0.8931
Epoch 216/500
500/500 [==============================] - 77s 154ms/step - loss: 0.3670 - acc: 0.9323 - val_loss: 0.4930 - val_acc: 0.8910
Epoch 217/500
500/500 [==============================] - 76s 153ms/step - loss: 0.3643 - acc: 0.9325 - val_loss: 0.4798 - val_acc: 0.8938
Epoch 218/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3580 - acc: 0.9335 - val_loss: 0.4817 - val_acc: 0.8948
Epoch 219/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3548 - acc: 0.9329 - val_loss: 0.4749 - val_acc: 0.8918
Epoch 220/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3541 - acc: 0.9334 - val_loss: 0.4663 - val_acc: 0.8966
Epoch 221/500
500/500 [==============================] - 76s 153ms/step - loss: 0.3440 - acc: 0.9366 - val_loss: 0.4726 - val_acc: 0.8963
Epoch 222/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3434 - acc: 0.9353 - val_loss: 0.4717 - val_acc: 0.8951
Epoch 223/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3408 - acc: 0.9355 - val_loss: 0.4629 - val_acc: 0.8976
Epoch 224/500
500/500 [==============================] - 76s 153ms/step - loss: 0.3405 - acc: 0.9352 - val_loss: 0.4724 - val_acc: 0.8898
Epoch 225/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3355 - acc: 0.9357 - val_loss: 0.4643 - val_acc: 0.8930
Epoch 226/500
500/500 [==============================] - 77s 154ms/step - loss: 0.3328 - acc: 0.9363 - val_loss: 0.4663 - val_acc: 0.8962
Epoch 227/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3282 - acc: 0.9365 - val_loss: 0.4680 - val_acc: 0.8937
Epoch 228/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3307 - acc: 0.9350 - val_loss: 0.4550 - val_acc: 0.8949
Epoch 229/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3268 - acc: 0.9350 - val_loss: 0.4638 - val_acc: 0.8967
Epoch 230/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3253 - acc: 0.9367 - val_loss: 0.4604 - val_acc: 0.8959
Epoch 231/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3191 - acc: 0.9365 - val_loss: 0.4690 - val_acc: 0.8917
Epoch 232/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3190 - acc: 0.9369 - val_loss: 0.4653 - val_acc: 0.8924
Epoch 233/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3194 - acc: 0.9359 - val_loss: 0.4589 - val_acc: 0.8920
Epoch 234/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3107 - acc: 0.9400 - val_loss: 0.4572 - val_acc: 0.8944
Epoch 235/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3129 - acc: 0.9367 - val_loss: 0.4646 - val_acc: 0.8925
Epoch 236/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3084 - acc: 0.9379 - val_loss: 0.4510 - val_acc: 0.8959
Epoch 237/500
500/500 [==============================] - 76s 153ms/step - loss: 0.3114 - acc: 0.9375 - val_loss: 0.4528 - val_acc: 0.8972
Epoch 238/500
500/500 [==============================] - 76s 153ms/step - loss: 0.3092 - acc: 0.9380 - val_loss: 0.4624 - val_acc: 0.8928
Epoch 239/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3098 - acc: 0.9354 - val_loss: 0.4533 - val_acc: 0.8942
Epoch 240/500
500/500 [==============================] - 76s 153ms/step - loss: 0.3027 - acc: 0.9383 - val_loss: 0.4513 - val_acc: 0.8928
Epoch 241/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3027 - acc: 0.9385 - val_loss: 0.4576 - val_acc: 0.8927
Epoch 242/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3029 - acc: 0.9378 - val_loss: 0.4597 - val_acc: 0.8909
Epoch 243/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3023 - acc: 0.9384 - val_loss: 0.4514 - val_acc: 0.8957
Epoch 244/500
500/500 [==============================] - 76s 153ms/step - loss: 0.3016 - acc: 0.9366 - val_loss: 0.4510 - val_acc: 0.8932
Epoch 245/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3007 - acc: 0.9359 - val_loss: 0.4488 - val_acc: 0.8941
Epoch 246/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3017 - acc: 0.9364 - val_loss: 0.4535 - val_acc: 0.8915
Epoch 247/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2999 - acc: 0.9368 - val_loss: 0.4524 - val_acc: 0.8925
Epoch 248/500
500/500 [==============================] - 76s 152ms/step - loss: 0.3007 - acc: 0.9361 - val_loss: 0.4611 - val_acc: 0.8867
Epoch 249/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2982 - acc: 0.9368 - val_loss: 0.4545 - val_acc: 0.8949
Epoch 250/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2968 - acc: 0.9371 - val_loss: 0.4599 - val_acc: 0.8892
Epoch 251/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2930 - acc: 0.9389 - val_loss: 0.4540 - val_acc: 0.8936
Epoch 252/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2904 - acc: 0.9384 - val_loss: 0.4589 - val_acc: 0.8920
Epoch 253/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2944 - acc: 0.9373 - val_loss: 0.4548 - val_acc: 0.8906
Epoch 254/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2883 - acc: 0.9404 - val_loss: 0.4596 - val_acc: 0.8903
Epoch 255/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2917 - acc: 0.9381 - val_loss: 0.4641 - val_acc: 0.8871
Epoch 256/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2922 - acc: 0.9368 - val_loss: 0.4643 - val_acc: 0.8868
Epoch 257/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2935 - acc: 0.9373 - val_loss: 0.4509 - val_acc: 0.8873
Epoch 258/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2934 - acc: 0.9365 - val_loss: 0.4501 - val_acc: 0.8901
Epoch 259/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2902 - acc: 0.9381 - val_loss: 0.4459 - val_acc: 0.8928
Epoch 260/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2892 - acc: 0.9367 - val_loss: 0.4547 - val_acc: 0.8896
Epoch 261/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2892 - acc: 0.9372 - val_loss: 0.4596 - val_acc: 0.8899
Epoch 262/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2906 - acc: 0.9360 - val_loss: 0.4500 - val_acc: 0.8889
Epoch 263/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2867 - acc: 0.9381 - val_loss: 0.4548 - val_acc: 0.8917
Epoch 264/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2906 - acc: 0.9366 - val_loss: 0.4553 - val_acc: 0.8876
Epoch 265/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2866 - acc: 0.9377 - val_loss: 0.4549 - val_acc: 0.8914
Epoch 266/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2869 - acc: 0.9379 - val_loss: 0.4442 - val_acc: 0.8928
Epoch 267/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2883 - acc: 0.9370 - val_loss: 0.4505 - val_acc: 0.8899
Epoch 268/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2851 - acc: 0.9388 - val_loss: 0.4590 - val_acc: 0.8879
Epoch 269/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2882 - acc: 0.9359 - val_loss: 0.4437 - val_acc: 0.8928
Epoch 270/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2882 - acc: 0.9365 - val_loss: 0.4573 - val_acc: 0.8856
Epoch 271/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2846 - acc: 0.9385 - val_loss: 0.4599 - val_acc: 0.8881
Epoch 272/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2821 - acc: 0.9373 - val_loss: 0.4548 - val_acc: 0.8898
Epoch 273/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2878 - acc: 0.9355 - val_loss: 0.4541 - val_acc: 0.8883
Epoch 274/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2875 - acc: 0.9357 - val_loss: 0.4588 - val_acc: 0.8881
Epoch 275/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2852 - acc: 0.9369 - val_loss: 0.4506 - val_acc: 0.8926
Epoch 276/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2867 - acc: 0.9356 - val_loss: 0.4445 - val_acc: 0.8914
Epoch 277/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2829 - acc: 0.9374 - val_loss: 0.4466 - val_acc: 0.8913
Epoch 278/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2851 - acc: 0.9360 - val_loss: 0.4574 - val_acc: 0.8887
Epoch 279/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2868 - acc: 0.9360 - val_loss: 0.4484 - val_acc: 0.8887
Epoch 280/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2849 - acc: 0.9369 - val_loss: 0.4615 - val_acc: 0.8851
Epoch 281/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2815 - acc: 0.9373 - val_loss: 0.4502 - val_acc: 0.8900
Epoch 282/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2863 - acc: 0.9362 - val_loss: 0.4540 - val_acc: 0.8888
Epoch 283/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2878 - acc: 0.9362 - val_loss: 0.4559 - val_acc: 0.8872
Epoch 284/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2779 - acc: 0.9389 - val_loss: 0.4531 - val_acc: 0.8888
Epoch 285/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2801 - acc: 0.9374 - val_loss: 0.4413 - val_acc: 0.8918
Epoch 286/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2817 - acc: 0.9380 - val_loss: 0.4584 - val_acc: 0.8864
Epoch 287/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2809 - acc: 0.9378 - val_loss: 0.4598 - val_acc: 0.8902
Epoch 288/500
500/500 [==============================] - 76s 151ms/step - loss: 0.2784 - acc: 0.9391 - val_loss: 0.4477 - val_acc: 0.8907
Epoch 289/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2808 - acc: 0.9370 - val_loss: 0.4581 - val_acc: 0.8877
Epoch 290/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2813 - acc: 0.9370 - val_loss: 0.4594 - val_acc: 0.8864
Epoch 291/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2795 - acc: 0.9381 - val_loss: 0.4391 - val_acc: 0.8905
Epoch 292/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2793 - acc: 0.9385 - val_loss: 0.4471 - val_acc: 0.8881
Epoch 293/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2812 - acc: 0.9385 - val_loss: 0.4604 - val_acc: 0.8855
Epoch 294/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2808 - acc: 0.9379 - val_loss: 0.4525 - val_acc: 0.8867
Epoch 295/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2816 - acc: 0.9373 - val_loss: 0.4532 - val_acc: 0.8873
Epoch 296/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2771 - acc: 0.9384 - val_loss: 0.4337 - val_acc: 0.8934
Epoch 297/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2793 - acc: 0.9375 - val_loss: 0.4478 - val_acc: 0.8876
Epoch 298/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2823 - acc: 0.9375 - val_loss: 0.4560 - val_acc: 0.8889
Epoch 299/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2803 - acc: 0.9373 - val_loss: 0.4523 - val_acc: 0.8872
Epoch 300/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2796 - acc: 0.9380 - val_loss: 0.4439 - val_acc: 0.8888
Epoch 301/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2765 - acc: 0.9388 - val_loss: 0.4537 - val_acc: 0.8881
Epoch 302/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2759 - acc: 0.9391 - val_loss: 0.4594 - val_acc: 0.8895
Epoch 303/500
500/500 [==============================] - 76s 151ms/step - loss: 0.2822 - acc: 0.9362 - val_loss: 0.4455 - val_acc: 0.8922
Epoch 304/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2811 - acc: 0.9361 - val_loss: 0.4593 - val_acc: 0.8870
Epoch 305/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2761 - acc: 0.9382 - val_loss: 0.4599 - val_acc: 0.8872
Epoch 306/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2753 - acc: 0.9392 - val_loss: 0.4532 - val_acc: 0.8913
Epoch 307/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2776 - acc: 0.9393 - val_loss: 0.4373 - val_acc: 0.8916
Epoch 308/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2750 - acc: 0.9388 - val_loss: 0.4406 - val_acc: 0.8915
Epoch 309/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2778 - acc: 0.9380 - val_loss: 0.4662 - val_acc: 0.8832
Epoch 310/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2790 - acc: 0.9384 - val_loss: 0.4385 - val_acc: 0.8960
Epoch 311/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2772 - acc: 0.9388 - val_loss: 0.4503 - val_acc: 0.8899
Epoch 312/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2776 - acc: 0.9388 - val_loss: 0.4423 - val_acc: 0.8938
Epoch 313/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2786 - acc: 0.9379 - val_loss: 0.4404 - val_acc: 0.8951
Epoch 314/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2767 - acc: 0.9388 - val_loss: 0.4483 - val_acc: 0.8899
Epoch 315/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2741 - acc: 0.9412 - val_loss: 0.4484 - val_acc: 0.8885
Epoch 316/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2796 - acc: 0.9371 - val_loss: 0.4526 - val_acc: 0.8883
Epoch 317/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2751 - acc: 0.9394 - val_loss: 0.4552 - val_acc: 0.8874
Epoch 318/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2775 - acc: 0.9387 - val_loss: 0.4464 - val_acc: 0.8905
Epoch 319/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2762 - acc: 0.9388 - val_loss: 0.4523 - val_acc: 0.8889
Epoch 320/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2757 - acc: 0.9383 - val_loss: 0.4490 - val_acc: 0.8901
Epoch 321/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2732 - acc: 0.9385 - val_loss: 0.4538 - val_acc: 0.8853
Epoch 322/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2812 - acc: 0.9377 - val_loss: 0.4450 - val_acc: 0.8909
Epoch 323/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2740 - acc: 0.9388 - val_loss: 0.4530 - val_acc: 0.8868
Epoch 324/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2730 - acc: 0.9391 - val_loss: 0.4544 - val_acc: 0.8882
Epoch 325/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2786 - acc: 0.9385 - val_loss: 0.4564 - val_acc: 0.8881
Epoch 326/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2793 - acc: 0.9385 - val_loss: 0.4503 - val_acc: 0.8900
Epoch 327/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2764 - acc: 0.9384 - val_loss: 0.4602 - val_acc: 0.8867
Epoch 328/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2771 - acc: 0.9386 - val_loss: 0.4446 - val_acc: 0.8888
Epoch 329/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2764 - acc: 0.9375 - val_loss: 0.4495 - val_acc: 0.8892
Epoch 330/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2773 - acc: 0.9389 - val_loss: 0.4532 - val_acc: 0.8876
Epoch 331/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2751 - acc: 0.9399 - val_loss: 0.4550 - val_acc: 0.8890
Epoch 332/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2720 - acc: 0.9395 - val_loss: 0.4577 - val_acc: 0.8870
Epoch 333/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2713 - acc: 0.9412 - val_loss: 0.4565 - val_acc: 0.8884
Epoch 334/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2731 - acc: 0.9399 - val_loss: 0.4496 - val_acc: 0.8904
Epoch 335/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2695 - acc: 0.9412 - val_loss: 0.4491 - val_acc: 0.8877
Epoch 336/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2715 - acc: 0.9403 - val_loss: 0.4476 - val_acc: 0.8909
Epoch 337/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2777 - acc: 0.9365 - val_loss: 0.4533 - val_acc: 0.8889
Epoch 338/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2727 - acc: 0.9411 - val_loss: 0.4648 - val_acc: 0.8854
Epoch 339/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2712 - acc: 0.9411 - val_loss: 0.4701 - val_acc: 0.8873
Epoch 340/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2736 - acc: 0.9398 - val_loss: 0.4632 - val_acc: 0.8874
Epoch 341/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2749 - acc: 0.9389 - val_loss: 0.4607 - val_acc: 0.8841
Epoch 342/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2697 - acc: 0.9409 - val_loss: 0.4659 - val_acc: 0.8851
Epoch 343/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2761 - acc: 0.9391 - val_loss: 0.4545 - val_acc: 0.8854
Epoch 344/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2709 - acc: 0.9410 - val_loss: 0.4563 - val_acc: 0.8860
Epoch 345/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2746 - acc: 0.9391 - val_loss: 0.4578 - val_acc: 0.8874
Epoch 346/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2726 - acc: 0.9406 - val_loss: 0.4714 - val_acc: 0.8847
Epoch 347/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2713 - acc: 0.9406 - val_loss: 0.4648 - val_acc: 0.8848
Epoch 348/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2745 - acc: 0.9401 - val_loss: 0.4541 - val_acc: 0.8875
Epoch 349/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2688 - acc: 0.9421 - val_loss: 0.4635 - val_acc: 0.8840
Epoch 350/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2736 - acc: 0.9412 - val_loss: 0.4625 - val_acc: 0.8850
Epoch 351/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2721 - acc: 0.9406 - val_loss: 0.4726 - val_acc: 0.8818
Epoch 352/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2756 - acc: 0.9399 - val_loss: 0.4567 - val_acc: 0.8870
Epoch 353/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2715 - acc: 0.9408 - val_loss: 0.4589 - val_acc: 0.8879
Epoch 354/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2714 - acc: 0.9402 - val_loss: 0.4720 - val_acc: 0.8838
Epoch 355/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2727 - acc: 0.9398 - val_loss: 0.4646 - val_acc: 0.8861
Epoch 356/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2726 - acc: 0.9416 - val_loss: 0.4490 - val_acc: 0.8886
Epoch 357/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2715 - acc: 0.9413 - val_loss: 0.4559 - val_acc: 0.8879
Epoch 358/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2711 - acc: 0.9414 - val_loss: 0.4723 - val_acc: 0.8867
Epoch 359/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2719 - acc: 0.9407 - val_loss: 0.4639 - val_acc: 0.8857
Epoch 360/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2745 - acc: 0.9398 - val_loss: 0.4669 - val_acc: 0.8851
Epoch 361/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2690 - acc: 0.9413 - val_loss: 0.4633 - val_acc: 0.8860
Epoch 362/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2701 - acc: 0.9415 - val_loss: 0.4719 - val_acc: 0.8860
Epoch 363/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2712 - acc: 0.9421 - val_loss: 0.4661 - val_acc: 0.8850
Epoch 364/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2747 - acc: 0.9393 - val_loss: 0.4545 - val_acc: 0.8875
Epoch 365/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2734 - acc: 0.9407 - val_loss: 0.4742 - val_acc: 0.8820
Epoch 366/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2745 - acc: 0.9391 - val_loss: 0.4537 - val_acc: 0.8912
Epoch 367/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2669 - acc: 0.9422 - val_loss: 0.4615 - val_acc: 0.8867
Epoch 368/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2719 - acc: 0.9407 - val_loss: 0.4636 - val_acc: 0.8891
Epoch 369/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2706 - acc: 0.9408 - val_loss: 0.4668 - val_acc: 0.8848
Epoch 370/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2714 - acc: 0.9404 - val_loss: 0.4527 - val_acc: 0.8901
Epoch 371/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2696 - acc: 0.9426 - val_loss: 0.4626 - val_acc: 0.8844
Epoch 372/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2662 - acc: 0.9430 - val_loss: 0.4587 - val_acc: 0.8889
Epoch 373/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2729 - acc: 0.9410 - val_loss: 0.4603 - val_acc: 0.8879
Epoch 374/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2692 - acc: 0.9422 - val_loss: 0.4587 - val_acc: 0.8905
Epoch 375/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2719 - acc: 0.9419 - val_loss: 0.4760 - val_acc: 0.8864
Epoch 376/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2727 - acc: 0.9401 - val_loss: 0.4500 - val_acc: 0.8895
Epoch 377/500
500/500 [==============================] - 76s 151ms/step - loss: 0.2681 - acc: 0.9432 - val_loss: 0.4561 - val_acc: 0.8927
Epoch 378/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2763 - acc: 0.9396 - val_loss: 0.4599 - val_acc: 0.8863
Epoch 379/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2682 - acc: 0.9413 - val_loss: 0.4728 - val_acc: 0.8849
Epoch 380/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2694 - acc: 0.9426 - val_loss: 0.4717 - val_acc: 0.8832
Epoch 381/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2710 - acc: 0.9400 - val_loss: 0.4568 - val_acc: 0.8858
Epoch 382/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2734 - acc: 0.9393 - val_loss: 0.4745 - val_acc: 0.8831
Epoch 383/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2681 - acc: 0.9428 - val_loss: 0.4760 - val_acc: 0.8845
Epoch 384/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2720 - acc: 0.9414 - val_loss: 0.4651 - val_acc: 0.8879
Epoch 385/500
500/500 [==============================] - 76s 151ms/step - loss: 0.2715 - acc: 0.9412 - val_loss: 0.4527 - val_acc: 0.8924
Epoch 386/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2662 - acc: 0.9441 - val_loss: 0.4607 - val_acc: 0.8876
Epoch 387/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2649 - acc: 0.9429 - val_loss: 0.4731 - val_acc: 0.8838
Epoch 388/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2720 - acc: 0.9407 - val_loss: 0.4683 - val_acc: 0.8842
Epoch 389/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2707 - acc: 0.9404 - val_loss: 0.4674 - val_acc: 0.8850
Epoch 390/500
500/500 [==============================] - 76s 153ms/step - loss: 0.2687 - acc: 0.9416 - val_loss: 0.4766 - val_acc: 0.8810
Epoch 391/500
500/500 [==============================] - 76s 152ms/step - loss: 0.2669 - acc: 0.9440 - val_loss: 0.4728 - val_acc: 0.8834
Epoch 392/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2683 - acc: 0.9422 - val_loss: 0.4572 - val_acc: 0.8880
Epoch 393/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2631 - acc: 0.9449 - val_loss: 0.4691 - val_acc: 0.8858
Epoch 394/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2681 - acc: 0.9419 - val_loss: 0.4747 - val_acc: 0.8875
Epoch 395/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2700 - acc: 0.9419 - val_loss: 0.4650 - val_acc: 0.8889
Epoch 396/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2702 - acc: 0.9419 - val_loss: 0.4520 - val_acc: 0.8901
Epoch 397/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2640 - acc: 0.9439 - val_loss: 0.4607 - val_acc: 0.8857
Epoch 398/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2683 - acc: 0.9425 - val_loss: 0.4654 - val_acc: 0.8894
Epoch 399/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2709 - acc: 0.9419 - val_loss: 0.4727 - val_acc: 0.8853
Epoch 400/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2673 - acc: 0.9429 - val_loss: 0.4670 - val_acc: 0.8873
Epoch 401/500
lr changed to 0.0009999999776482583
500/500 [==============================] - 77s 154ms/step - loss: 0.2343 - acc: 0.9556 - val_loss: 0.4340 - val_acc: 0.8968
Epoch 402/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2155 - acc: 0.9635 - val_loss: 0.4307 - val_acc: 0.9001
Epoch 403/500
500/500 [==============================] - 77s 154ms/step - loss: 0.2098 - acc: 0.9645 - val_loss: 0.4287 - val_acc: 0.8996
Epoch 404/500
500/500 [==============================] - 77s 153ms/step - loss: 0.2014 - acc: 0.9686 - val_loss: 0.4280 - val_acc: 0.9001
Epoch 405/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1992 - acc: 0.9681 - val_loss: 0.4285 - val_acc: 0.9006
Epoch 406/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1960 - acc: 0.9695 - val_loss: 0.4308 - val_acc: 0.9000
Epoch 407/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1946 - acc: 0.9697 - val_loss: 0.4326 - val_acc: 0.9011
Epoch 408/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1956 - acc: 0.9703 - val_loss: 0.4329 - val_acc: 0.9021
Epoch 409/500
500/500 [==============================] - 76s 153ms/step - loss: 0.1925 - acc: 0.9713 - val_loss: 0.4312 - val_acc: 0.9020
Epoch 410/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1875 - acc: 0.9720 - val_loss: 0.4347 - val_acc: 0.9021
Epoch 411/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1895 - acc: 0.9718 - val_loss: 0.4368 - val_acc: 0.9000
Epoch 412/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1856 - acc: 0.9722 - val_loss: 0.4390 - val_acc: 0.9012
Epoch 413/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1857 - acc: 0.9721 - val_loss: 0.4396 - val_acc: 0.9007
Epoch 414/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1842 - acc: 0.9730 - val_loss: 0.4406 - val_acc: 0.9002
Epoch 415/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1840 - acc: 0.9734 - val_loss: 0.4426 - val_acc: 0.9003
Epoch 416/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1822 - acc: 0.9738 - val_loss: 0.4447 - val_acc: 0.9009
Epoch 417/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1828 - acc: 0.9732 - val_loss: 0.4433 - val_acc: 0.8994
Epoch 418/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1826 - acc: 0.9735 - val_loss: 0.4407 - val_acc: 0.9006
Epoch 419/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1798 - acc: 0.9737 - val_loss: 0.4432 - val_acc: 0.9009
Epoch 420/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1800 - acc: 0.9738 - val_loss: 0.4415 - val_acc: 0.9016
Epoch 421/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1785 - acc: 0.9743 - val_loss: 0.4447 - val_acc: 0.9012
Epoch 422/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1792 - acc: 0.9738 - val_loss: 0.4467 - val_acc: 0.9008
Epoch 423/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1763 - acc: 0.9759 - val_loss: 0.4459 - val_acc: 0.9013
Epoch 424/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1795 - acc: 0.9735 - val_loss: 0.4501 - val_acc: 0.8997
Epoch 425/500
500/500 [==============================] - 76s 153ms/step - loss: 0.1767 - acc: 0.9744 - val_loss: 0.4469 - val_acc: 0.9004
Epoch 426/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1766 - acc: 0.9748 - val_loss: 0.4494 - val_acc: 0.9007
Epoch 427/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1762 - acc: 0.9748 - val_loss: 0.4534 - val_acc: 0.9001
Epoch 428/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1760 - acc: 0.9751 - val_loss: 0.4516 - val_acc: 0.9014
Epoch 429/500
500/500 [==============================] - 77s 155ms/step - loss: 0.1752 - acc: 0.9747 - val_loss: 0.4515 - val_acc: 0.8996
Epoch 430/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1764 - acc: 0.9747 - val_loss: 0.4529 - val_acc: 0.9010
Epoch 431/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1732 - acc: 0.9765 - val_loss: 0.4541 - val_acc: 0.8994
Epoch 432/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1720 - acc: 0.9764 - val_loss: 0.4530 - val_acc: 0.9000
Epoch 433/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1735 - acc: 0.9756 - val_loss: 0.4527 - val_acc: 0.9007
Epoch 434/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1723 - acc: 0.9755 - val_loss: 0.4558 - val_acc: 0.9000
Epoch 435/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1731 - acc: 0.9759 - val_loss: 0.4549 - val_acc: 0.9013
Epoch 436/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1703 - acc: 0.9764 - val_loss: 0.4560 - val_acc: 0.9017
Epoch 437/500
500/500 [==============================] - 77s 155ms/step - loss: 0.1714 - acc: 0.9754 - val_loss: 0.4557 - val_acc: 0.9014
Epoch 438/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1691 - acc: 0.9765 - val_loss: 0.4596 - val_acc: 0.8988
Epoch 439/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1700 - acc: 0.9761 - val_loss: 0.4613 - val_acc: 0.9006
Epoch 440/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1718 - acc: 0.9754 - val_loss: 0.4611 - val_acc: 0.9001
Epoch 441/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1704 - acc: 0.9758 - val_loss: 0.4616 - val_acc: 0.9017
Epoch 442/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1663 - acc: 0.9781 - val_loss: 0.4638 - val_acc: 0.8990
Epoch 443/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1697 - acc: 0.9759 - val_loss: 0.4635 - val_acc: 0.9007
Epoch 444/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1673 - acc: 0.9775 - val_loss: 0.4664 - val_acc: 0.8994
Epoch 445/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1649 - acc: 0.9779 - val_loss: 0.4651 - val_acc: 0.8991
Epoch 446/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1692 - acc: 0.9760 - val_loss: 0.4659 - val_acc: 0.8992
Epoch 447/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1678 - acc: 0.9764 - val_loss: 0.4637 - val_acc: 0.8997
Epoch 448/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1644 - acc: 0.9774 - val_loss: 0.4659 - val_acc: 0.8996
Epoch 449/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1634 - acc: 0.9783 - val_loss: 0.4628 - val_acc: 0.9002
Epoch 450/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1662 - acc: 0.9774 - val_loss: 0.4642 - val_acc: 0.9024
Epoch 451/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1649 - acc: 0.9767 - val_loss: 0.4647 - val_acc: 0.9020
Epoch 452/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1645 - acc: 0.9776 - val_loss: 0.4674 - val_acc: 0.8994
Epoch 453/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1646 - acc: 0.9772 - val_loss: 0.4650 - val_acc: 0.8999
Epoch 454/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1639 - acc: 0.9786 - val_loss: 0.4683 - val_acc: 0.8973
Epoch 455/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1626 - acc: 0.9778 - val_loss: 0.4665 - val_acc: 0.8997
Epoch 456/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1634 - acc: 0.9779 - val_loss: 0.4647 - val_acc: 0.8993
Epoch 457/500
500/500 [==============================] - 76s 153ms/step - loss: 0.1623 - acc: 0.9785 - val_loss: 0.4645 - val_acc: 0.8996
Epoch 458/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1616 - acc: 0.9780 - val_loss: 0.4654 - val_acc: 0.9007
Epoch 459/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1617 - acc: 0.9777 - val_loss: 0.4664 - val_acc: 0.8987
Epoch 460/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1623 - acc: 0.9777 - val_loss: 0.4652 - val_acc: 0.8989
Epoch 461/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1595 - acc: 0.9789 - val_loss: 0.4637 - val_acc: 0.8992
Epoch 462/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1609 - acc: 0.9789 - val_loss: 0.4675 - val_acc: 0.8967
Epoch 463/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1615 - acc: 0.9779 - val_loss: 0.4731 - val_acc: 0.8981
Epoch 464/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1612 - acc: 0.9778 - val_loss: 0.4656 - val_acc: 0.9017
Epoch 465/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1571 - acc: 0.9793 - val_loss: 0.4738 - val_acc: 0.9003
Epoch 466/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1606 - acc: 0.9773 - val_loss: 0.4741 - val_acc: 0.8996
Epoch 467/500
500/500 [==============================] - 76s 153ms/step - loss: 0.1591 - acc: 0.9794 - val_loss: 0.4749 - val_acc: 0.8988
Epoch 468/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1594 - acc: 0.9780 - val_loss: 0.4723 - val_acc: 0.8969
Epoch 469/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1591 - acc: 0.9786 - val_loss: 0.4748 - val_acc: 0.8981
Epoch 470/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1560 - acc: 0.9795 - val_loss: 0.4730 - val_acc: 0.8972
Epoch 471/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1574 - acc: 0.9791 - val_loss: 0.4760 - val_acc: 0.8975
Epoch 472/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1577 - acc: 0.9786 - val_loss: 0.4757 - val_acc: 0.8974
Epoch 473/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1543 - acc: 0.9799 - val_loss: 0.4787 - val_acc: 0.8955
Epoch 474/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1552 - acc: 0.9800 - val_loss: 0.4751 - val_acc: 0.8966
Epoch 475/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1579 - acc: 0.9778 - val_loss: 0.4761 - val_acc: 0.8954
Epoch 476/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1566 - acc: 0.9795 - val_loss: 0.4738 - val_acc: 0.8973
Epoch 477/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1552 - acc: 0.9795 - val_loss: 0.4787 - val_acc: 0.8966
Epoch 478/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1569 - acc: 0.9789 - val_loss: 0.4724 - val_acc: 0.8986
Epoch 479/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1544 - acc: 0.9796 - val_loss: 0.4722 - val_acc: 0.8991
Epoch 480/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1566 - acc: 0.9790 - val_loss: 0.4749 - val_acc: 0.8977
Epoch 481/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1539 - acc: 0.9797 - val_loss: 0.4756 - val_acc: 0.8982
Epoch 482/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1543 - acc: 0.9793 - val_loss: 0.4783 - val_acc: 0.8978
Epoch 483/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1546 - acc: 0.9793 - val_loss: 0.4776 - val_acc: 0.8973
Epoch 484/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1549 - acc: 0.9787 - val_loss: 0.4755 - val_acc: 0.8977
Epoch 485/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1534 - acc: 0.9786 - val_loss: 0.4774 - val_acc: 0.8976
Epoch 486/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1528 - acc: 0.9795 - val_loss: 0.4746 - val_acc: 0.8997
Epoch 487/500
500/500 [==============================] - 77s 154ms/step - loss: 0.1522 - acc: 0.9798 - val_loss: 0.4762 - val_acc: 0.8996
Epoch 488/500
500/500 [==============================] - 77s 153ms/step - loss: 0.1538 - acc: 0.9790 - val_loss: 0.4771 - val_acc: 0.8986
Epoch 489/500
277/500 [===============>..............] - ETA: 33s - loss: 0.1521 - acc: 0.9798 Traceback (most recent call last):
  File "C:\Users\hitwh\.spyder-py3\temp.py", line 153, in <module>
    verbose=1, callbacks=[reduce_lr], workers=4)
  File "C:\Users\hitwh\Anaconda3\envs\Initial\lib\site-packages\keras\legacy\interfaces.py", line 91, in wrapper
    return func(*args, **kwargs)
  File "C:\Users\hitwh\Anaconda3\envs\Initial\lib\site-packages\keras\engine\training.py", line 1415, in fit_generator
    initial_epoch=initial_epoch)
  File "C:\Users\hitwh\Anaconda3\envs\Initial\lib\site-packages\keras\engine\training_generator.py", line 213, in fit_generator
    class_weight=class_weight)
  File "C:\Users\hitwh\Anaconda3\envs\Initial\lib\site-packages\keras\engine\training.py", line 1215, in train_on_batch
    outputs = self.train_function(ins)
  File "C:\Users\hitwh\Anaconda3\envs\Initial\lib\site-packages\keras\backend\tensorflow_backend.py", line 2666, in __call__
    return self._call(inputs)
  File "C:\Users\hitwh\Anaconda3\envs\Initial\lib\site-packages\keras\backend\tensorflow_backend.py", line 2636, in _call
    fetched = self._callable_fn(*array_vals)
  File "C:\Users\hitwh\Anaconda3\envs\Initial\lib\site-packages\tensorflow\python\client\session.py", line 1382, in __call__
    run_metadata_ptr)
KeyboardInterrupt

這次是故意中斷的，估計跑完500個epoch，效果也沒有上一篇（調參記錄3）的時候效果好。其中，在第122個epoch的時候，電腦居然休眠了，浪費了一萬多秒。

Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Shaojiang Dong, Michael Pecht, Deep Residual Networks with Adaptively Parametric Rectifier Linear Units for Fault Diagnosis, IEEE Transactions on Industrial Electronics, 2020, DOI: 10.1109/TIE.2020.2972458

https://ieeexplore.ieee.org/document/8998530