連載三：PyCon2018｜用對抗樣本攻擊PNASNet模型(附原始碼)

第八屆中國Python開發者大會PyConChina2018，由PyChina.org發起，由來自CPyUG/TopGeek等社群的30位組織者，近150位志願者在北京、上海、深圳、杭州、成都等城市舉辦。致力於推動各類Python相關的技術在網際網路、企業應用等領域的研發和應用。
程式碼醫生工作室有幸接受邀請，參加了這次會議的北京站專場。在會上主要分享了《人工智慧實戰案例分享-影象處理與數值分析》。
會上分享的一些案例主要是來源於《python帶我起飛——入門、進階、商業實戰》一書與《深度學習之TensorFlow：入門、原理與進階實戰》一書。另外，還擴充了若干其它案例。在本文作為補充，將會上分享的其它案例以詳細的圖文方式補充進來，並提供原始碼。共分為4期連載。

1. 用slim呼叫PNASNet模型

2. 用slim微調PNASNet模型

3. 用對抗樣本攻擊PNASNet模型

4. 惡意域名檢測例項

 1 import sys                                         #初始化環境變數
 2 nets_path = r'slim'
 3 if nets_path not in sys.path:
 4    sys.path.insert(0,nets_path)
 5 else:
 6    print('already add slim')
 7
 8 import tensorflow as tf                           #引入標頭檔案
 9 from nets.nasnet import pnasnet
10 import numpy as np
11 from tensorflow.python.keras.preprocessing import image
12
13 import matplotlib as mpl
14 import matplotlib.pyplot as plt
15 mpl.rcParams['font.sans-serif']=['SimHei']#用來正常顯示中文標籤  
16 mpl.rcParams['font.family'] = 'STSong'
17 mpl.rcParams['font.size'] = 15
18
19 slim = tf.contrib.slim
20 arg_scope = tf.contrib.framework.arg_scope
21
22 tf.reset_default_graph()                       
23 image_size = pnasnet.build_pnasnet_large.default_image_size       #獲得圖片輸入尺寸
24 LANG = 'ch'                                                        #使用中文標籤
25
26 if LANG=='ch':
27    def getone(onestr):
28        return onestr.replace(',',' ').replace('\n','')
29
30    with open('中文標籤.csv','r+') as f:                             #開啟檔案               
31        labelnames =list( map(getone,list(f))  )
32        print(len(labelnames),type(labelnames),labelnames[:5])             #顯示輸出中文標籤    
33 else: 
34    from datasets import imagenet
35    labelnames = imagenet.create_readable_names_for_imagenet_labels()     #獲得資料集標籤
36    print(len(labelnames),labelnames[:5])                                       #顯示輸出標籤
37
38 def pnasnetfun(input_imgs,reuse ):
39    preprocessed = tf.subtract(tf.multiply(tf.expand_dims(input_imgs, 0), 2.0), 1.0) 
40    arg_scope = pnasnet.pnasnet_large_arg_scope()                         #獲得模型名稱空間
41
42    with slim.arg_scope(arg_scope):                                        #建立PNASNet模型
43        with slim.arg_scope([slim.conv2d,
44                             slim.batch_norm, slim.fully_connected,
45                             slim.separable_conv2d],reuse=reuse):
46
47            logits, end_points = pnasnet.build_pnasnet_large(preprocessed,num_classes = 1001, is_training=False)   
48            prob = end_points['Predictions']  
49    return logits, prob複製程式碼

50 input_imgs = tf.Variable(tf.zeros((image_size, image_size, 3)))                        
51 logits, probs = pnasnetfun(input_imgs,reuse=False)    
52 checkpoint_file = r'pnasnet-5_large_2017_12_13\model.ckpt'   #定義模型路徑
53 variables_to_restore = slim.get_variables_to_restore()
54 init_fn = slim.assign_from_checkpoint_fn(checkpoint_file, variables_to_restore,ignore_missing_vars=True)
55
56 sess = tf.InteractiveSession()         #建立會話
57 init_fn(sess)                             #載入模型
58
59 img_path = './dog.jpg'                #載入圖片
60 img = image.load_img(img_path, target_size=(image_size, image_size))
61 img = (np.asarray(img) / 255.0).astype(np.float32)
62
63 def showresult(img,p):                #視覺化模型輸出結果
64    fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(10, 8))
65    fig.sca(ax1)
66
67    ax1.axis('off')
68    ax1.imshow(img)
69    fig.sca(ax1)
70
71    top10 = list((-p).argsort()[:10])
72    lab= [labelnames[i][:15] for i in top10]
73    topprobs = p[top10]
74    print(list(zip(top10,lab,topprobs)))
75
76    barlist = ax2.bar(range(10), topprobs)
77
78    barlist[0].set_color('g')
79    plt.sca(ax2)
80    plt.ylim([0, 1.1])
81    plt.xticks(range(10), lab, rotation='vertical')
82    fig.subplots_adjust(bottom=0.2)
83    plt.show()
84
85 p = sess.run(probs, feed_dict={input_imgs: img})[0]
86 showresult(img,p)
複製程式碼

 1 def floatarr_to_img(floatarr):                                    #將浮點型轉化為圖片
 2    floatarr=np.asarray(floatarr*255)
 3    floatarr[floatarr>255]=255
 4    floatarr[floatarr<0]=0
 5    return floatarr.astype(np.uint8)
 6
 7 x = tf.placeholder(tf.float32, (image_size, image_size, 3))     #定義佔位符
 8 assign_op = tf.assign(input_imgs, x)                              #為input_imgs賦值 
 9 sess.run( assign_op, feed_dict={x: img})
10
11 below = input_imgs - 2.0/255.0                                  #定義圖片的變化範圍
12 above = input_imgs + 2.0/255.0
13
14 belowv,abovev = sess.run( [below,above])                        #生成閾值圖片
15
16 plt.imshow(floatarr_to_img(belowv))                                #顯示圖片，用於人眼驗證
17 plt.show()
18 plt.imshow(floatarr_to_img(abovev))
19 plt.show()複製程式碼

20 label_target = 880                                        #設定一個其它類別的目標標籤
21 label =tf.constant(label_target)
22 #定義loss節點
23 loss = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=[label])
24 learning_rate = 1e-1                                    #定義學習率
25 optim_step = tf.train.GradientDescentOptimizer(            #定義優化器
26    learning_rate).minimize(loss, var_list=[input_imgs])
27
28 #將調整後的圖片，按照指定閾值截斷
29 projected = tf.clip_by_value(tf.clip_by_value(input_imgs, below, above), 0, 1)
30 with tf.control_dependencies([projected]):
31    project_step = tf.assign(input_imgs, projected)
32
33 demo_steps = 400                                        #定義迭代次數
34 for i in range(demo_steps):                                #開始訓練
35    _, loss_value = sess.run([optim_step, loss])
36    sess.run(project_step)
37
38    if (i+1) % 10 == 0:                                    #輸出訓練狀態
39        print('step %d, loss=%g' % (i+1, loss_value))
40        if loss_value<0.02:                                #達到標準後，提前結束
41            break
複製程式碼

42 adv = input_imgs.eval()                         #獲取圖片
43 p = sess.run(probs)[0]                            #得到模型結果
44 showresult(floatarr_to_img(adv),p)                #視覺化模型結果
45 plt.imsave('dog880.jpg',floatarr_to_img(adv))    #儲存模型複製程式碼