點擊上圖，立即開啟AI急速修煉
作者：Charlotte 高級算法工程師 ，博客專家；
擅長用通俗易懂的方式講解深度學習和機器學習算法，熟悉Tensorflow，PaddlePaddle等深度學習框架，負責過多個機器學習落地項目，如垃圾評論自動過濾，用戶分級精準營銷，分布式深度學習平臺搭建等，都取了的不錯的效果。
博客專欄：https://www.cnblogs.com/charlotte77/
前文傳送門：
【好書推薦&學習階段】三個月教你從零入門深度學習
【深度學習系列】PaddlePaddle之手寫數字識別
【深度學習系列】卷積神經網絡CNN原理詳解(一)——基本原理
【深度學習系列】PaddlePaddle之數據預處理
【深度學習系列】卷積神經網絡詳解(二)——自己手寫一個卷積神經網絡
【深度學習系列】用PaddlePaddle和Tensorflow進行圖像分類
【深度學習系列】用PaddlePaddle和Tensorflow實現經典CNN網絡AlexNet
【深度學習系列】用PaddlePaddle和Tensorflow實現經典CNN網絡Vgg
【深度學習系列】用PaddlePaddle和Tensorflow實現經典CNN網絡GoogLeNet
【深度學習系列】用PaddlePaddle和Tensorflow實現GoogLeNet InceptionV2/V3/V4
【深度學習系列】關於PaddlePaddle的一些避「坑」技巧
前面幾篇文章講到了卷積神經網絡CNN，但是對於它在每一層提取到的特徵以及訓練的過程可能還是不太明白，所以這節主要通過模型的可視化來神經網絡在每一層中是如何訓練的。我們知道，神經網絡本身包含了一系列特徵提取器，理想的feature map應該是稀疏的以及包含典型的局部信息。通過模型可視化能有一些直觀的認識並幫助我們調試模型，比如：feature map與原圖很接近，說明它沒有學到什麼特徵；或者它幾乎是一個純色的圖，說明它太過稀疏，可能是我們feature map數太多了（feature_map數太多也反映了卷積核太小）。可視化有很多種，比如：feature map可視化、權重可視化等等，我以feature map可視化為例。
模型可視化
因為我沒有搜到用paddlepaddle在imagenet 1000分類的數據集上預訓練好的googLeNet inception v3，所以用了keras做實驗，以下圖作為輸入:
取網絡的前15層，每層取前3個feature map。
北汽紳寶D50 feature map：
從左往右看，可以看到整個特徵提取的過程，有的分離背景、有的提取輪廓，有的提取色差，但也能發現10、11層中間兩個feature map是純色的，可能這一層feature map數有點多了，另外北汽紳寶D50的光暈對feature map中光暈的影響也能比較明顯看到。
把北汽紳寶D50 第1、4、7層的feature map以及第1, 4, 7, 10, 11, 14, 17層的feature map分別做平均，可視化如下：
代碼實踐
# -*- coding: utf-8 -*-from keras.applications import InceptionV3from keras.applications.inception_v3 import preprocess_inputfrom keras.preprocessing import imagefrom keras.models import Modelfrom keras.applications.imagenet_utils import decode_predictionsimport numpy as npimport cv2from cv2 import *import matplotlib.pyplot as pltimport scipy as spfrom scipy.misc import toimagedef test_opencv(): # 加載攝像頭 cam = VideoCapture(0) # 0 -> 攝像頭序號，如果有兩個三個四個攝像頭，要調用哪一個數字往上加嘛 # 抓拍 5 張小圖片 for x in range(0, 5): s, img = cam.read() if s: imwrite("o-" + str(x) + ".jpg", img)def load_original(img_path): # 把原始圖片壓縮為 299*299大小 im_original = cv2.resize(cv2.imread(img_path), (299, 299)) im_converted = cv2.cvtColor(im_original, cv2.COLOR_BGR2RGB) plt.figure(0) plt.subplot(211) plt.imshow(im_converted) return im_originaldef load_fine_tune_googlenet_v3(img): # 加載fine-tuning googlenet v3模型，並做預測 model = InceptionV3(include_top=True, weights='imagenet') model.summary() x = image.img_to_array(img) x = np.expand_dims(x, axis=0) x = preprocess_input(x) preds = model.predict(x) print('Predicted:', decode_predictions(preds)) plt.subplot(212) plt.plot(preds.ravel()) plt.show() return model, xdef extract_features(ins, layer_id, filters, layer_num): ''' 提取指定模型指定層指定數目的feature map並輸出到一幅圖上. :param ins: 模型實例 :param layer_id: 提取指定層特徵 :param filters: 每層提取的feature map數 :param layer_num: 一共提取多少層feature map :return: None ''' if len(ins) != 2: print('parameter error:(model, instance)') return None model = ins[0] x = ins[1] if type(layer_id) == type(1): model_extractfeatures = Model(input=model.input, output=model.get_layer(index=layer_id).output) else: model_extractfeatures = Model(input=model.input, output=model.get_layer(name=layer_id).output) fc2_features = model_extractfeatures.predict(x) if filters > len(fc2_features[0][0][0]): print('layer number error.', len(fc2_features[0][0][0]),',',filters) return None for i in range(filters): plt.subplots_adjust(left=0, right=1, bottom=0, top=1) plt.subplot(filters, layer_num, layer_id + 1 + i * layer_num) plt.axis("off") if i < len(fc2_features[0][0][0]): plt.imshow(fc2_features[0, :, :, i])# 層數、模型、卷積核數def extract_features_batch(layer_num, model, filters): ''' 批量提取特徵 :param layer_num: 層數 :param model: 模型 :param filters: feature map數 :return: None ''' plt.figure(figsize=(filters, layer_num)) plt.subplot(filters, layer_num, 1) for i in range(layer_num): extract_features(model, i, filters, layer_num) plt.savefig('sample.jpg') plt.show()def extract_features_with_layers(layers_extract): ''' 提取hypercolumn並可視化. :param layers_extract: 指定層列表 :return: None ''' hc = extract_hypercolumn(x[0], layers_extract, x[1]) ave = np.average(hc.transpose(1, 2, 0), axis=2) plt.imshow(ave) plt.show()def extract_hypercolumn(model, layer_indexes, instance): ''' 提取指定模型指定層的hypercolumn向量 :param model: 模型 :param layer_indexes: 層id :param instance: 模型 :return: ''' feature_maps = [] for i in layer_indexes: feature_maps.append(Model(input=model.input, output=model.get_layer(index=i).output).predict(instance)) hypercolumns = [] for convmap in feature_maps: for i in convmap[0][0][0]: upscaled = sp.misc.imresize(convmap[0, :, :, i], size=(299, 299), mode="F", interp='bilinear') hypercolumns.append(upscaled) return np.asarray(hypercolumns)if __name__ == '__main__': img_path = '~/auto1.jpg' img = load_original(img_path) x = load_fine_tune_googlenet_v3(img) extract_features_batch(15, x, 3) extract_features_with_layers([1, 4, 7]) extract_features_with_layers([1, 4, 7, 10, 11, 14, 17])
總結
還有一些網站做的關於CNN的可視化做的非常不錯，譬如這個網站：http://shixialiu.com/publications/cnnvis/demo/，大家可以在訓練的時候採取不同的卷積核尺寸和個數對照來看訓練的中間過程。最近PaddlePaddle也開源了可視化工具VisaulDL，下篇文章我們講講paddlepaddle的visualDL和tesorflow的tensorboard。
想從零開始學人工智慧？
下圖掃碼了解本文作者胡老師的系列課程吧！
限時優惠6.18折！