Caffe CNNの特徴の可視化
5101 ワード
Caffe CNNの特徴の可視化
転載は出典を明記してください.http://www.cnblogs.com/louyihang-loves-baiyan/
以下のコードはcaffeのpythonインタフェースに基づいて、1回のforwordからparamとblobの中のボリュームコアと応答のボリュームマップを取り出します.
入力されたテスト画像第1層のボリュームコアとボリュームマップは、いくつかの明らかなエッジプロファイルを見ることができ、左側は対応するボリュームコア第1 Pooling層の特徴図
第2層畳み込み特徴図第2層poolingの特徴図は、poolingを見ることができた後、convの特徴に対して部分的に強化され、私のネットワークで使用されているmax-poolingですが、pooling 2になるとすでにいくつかの離散的なブロックが現れ、すでに抽象的で、何が見えにくいです
転載は出典を明記してください.http://www.cnblogs.com/louyihang-loves-baiyan/
以下のコードはcaffeのpythonインタフェースに基づいて、1回のforwordからparamとblobの中のボリュームコアと応答のボリュームマップを取り出します.
import numpy as np
import matplotlib.pyplot as plt
import os
import caffe
import sys
import pickle
import cv2
caffe_root = '../'
deployPrototxt = '/home/chenjie/louyihang/caffe/models/bvlc_reference_caffenet/deploy_louyihang.prototxt'
modelFile = '/home/chenjie/louyihang/caffe/models/bvlc_reference_caffenet/caffenet_carmodel_louyihang_iter_50000.caffemodel'
meanFile = 'python/caffe/imagenet/ilsvrc_2012_mean.npy'
imageListFile = '/home/chenjie/DataSet/CompCars/data/train_test_split/classification/test_model431_label_start0.txt'
imageBasePath = '/home/chenjie/DataSet/CompCars/data/cropped_image'
resultFile = 'PredictResult.txt'
#
def initilize():
print 'initilize ... '
sys.path.insert(0, caffe_root + 'python')
caffe.set_mode_gpu()
caffe.set_device(4)
net = caffe.Net(deployPrototxt, modelFile,caffe.TEST)
return net
# params net.blobs
def getNetDetails(image, net):
# input preprocessing: 'data' is the name of the input blob == net.inputs[0]
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_transpose('data', (2,0,1))
transformer.set_mean('data', np.load(caffe_root + meanFile ).mean(1).mean(1)) # mean pixel
transformer.set_raw_scale('data', 255)
# the reference model operates on images in [0,255] range instead of [0,1]
transformer.set_channel_swap('data', (2,1,0))
# the reference model has channels in BGR order instead of RGB
# set net to batch size of 50
net.blobs['data'].reshape(1,3,227,227)
net.blobs['data'].data[...] = transformer.preprocess('data', caffe.io.load_image(image))
out = net.forward()
# conv1
filters = net.params['conv1'][0].data
with open('FirstLayerFilter.pickle','wb') as f:
pickle.dump(filters,f)
vis_square(filters.transpose(0, 2, 3, 1))
#conv1
feat = net.blobs['conv1'].data[0, :36]
with open('FirstLayerOutput.pickle','wb') as f:
pickle.dump(feat,f)
vis_square(feat,padval=1)
pool = net.blobs['pool1'].data[0,:36]
with open('pool1.pickle','wb') as f:
pickle.dump(pool,f)
vis_square(pool,padval=1)
# ,
def vis_square(data, padsize=1, padval=0 ):
data -= data.min()
data /= data.max()
#
n = int(np.ceil(np.sqrt(data.shape[0])))
padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))
#
data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
print data.shape
plt.imshow(data)
if __name__ == "__main__":
net = initilize()
testimage = '../data/MyTest/visualize_test.jpg'
getNetDetails(testimage, net)
入力されたテスト画像第1層のボリュームコアとボリュームマップは、いくつかの明らかなエッジプロファイルを見ることができ、左側は対応するボリュームコア第1 Pooling層の特徴図
第2層畳み込み特徴図第2層poolingの特徴図は、poolingを見ることができた後、convの特徴に対して部分的に強化され、私のネットワークで使用されているmax-poolingですが、pooling 2になるとすでにいくつかの離散的なブロックが現れ、すでに抽象的で、何が見えにくいです