CNN練習のDigit Recognizer

試験の月を経て、やっとコードを書く時間がありました.しかし、多くのことを忘れてしまったことに気づき、kaggleのDigit Recognizerモジュールの下で、CNNで簡単なネットワークを書いてコードを熟知しました.
CNNはこれまでDQNに特徴抽出に用いたと書いている.画像認識や、画像サンプリングに大きな役割を果たします.
まずkaggleからテストセットとトレーニングセットをダウンロードし、プロジェクトに配置します.
まず、テストセットとトレーニングセットのデータを処理します.

# -------------     -----------------
df = pd.read_csv('./data/train.csv')
df = df[:40000]
df_matrix = df.as_matrix().astype(float)

label = df_matrix[:, 0]
label = np.array(label)[:, np.newaxis]
x = df_matrix[:, 1:]

#      OneHot   exg:[[0 0 0 1 0],[1 0 0 0 0]
ohe = OneHotEncoder()
ohe.fit(label)
label = ohe.fit_transform(label).toarray()

#   x     exg:[[0.1 0.2 0.3],[0.4 0.5 0.6]]
mm = MinMaxScaler()
mm.fit(x)
x = mm.fit_transform(x)

# -----------------     ---------------
# len 28000
df_test = pd.read_csv('./data/test.csv')
df_test_matrix = df_test.as_matrix().astype(float)
test_input = df_test_matrix[:, :]
mm = MinMaxScaler()
mm.fit(test_input)
test_input = mm.fit_transform(test_input)

次にモデル設計を行い、畳み込み操作を行う際に用いられるのがtfである.layers.conv 2 dとtf.layers.max_pooling 2 dは、それぞれボリューム化および最大化プール化動作を行う.
tensorflowパッケージのこの2つの方法は,使用時に比較的直感的である.次のコードでは、いくつかの重要なパラメータにコメントが付けられています.
そのうち28×28の画像は初めてのボリューム操作を経て28です.×28、1回目のプール化後は14になります×14,2回目のボリューム後は14×14,2回目のプール化後7になる×7、最後に64枚7をもらいました×7の平面.
ニューラルネットワークをボリューム化した後,2つの全接続ニューラルネットワークを接続した.tfを使用する.layers.denseの方法.

x_input = tf.placeholder(tf.float32, [None, 784])
label_input = tf.placeholder(tf.float32, [None, 10])

#   x     4D   [batch, in_height, in_width, in_channel]
# in_channel    
x_image = tf.reshape(x_input, [-1, 28, 28, 1])

conv1 = tf.layers.conv2d(
    inputs=x_image,
    filters=32, #       
    kernel_size=[5,5], #        
    padding='same',  #       0
    activation=tf.nn.relu,
    strides=(1,1) #         1
)

pool1 = tf.layers.max_pooling2d(
    inputs=conv1,
    pool_size=[2,2],  #        
    strides=2
)

conv2 = tf.layers.conv2d(
    inputs=pool1,
    filters=64,
    kernel_size=[5,5],
    padding='same',
    activation=tf.nn.relu,
    strides=(1,1)
)

pool2 = tf.layers.max_pooling2d(
    inputs=conv2,
    pool_size=[2,2],
    strides=2
)

pool2_flat = tf.reshape(pool2, [-1, 7*7*64])

#        
l1 = tf.layers.dense(
    inputs=pool2_flat,
    units=1024,
    activation=tf.nn.relu
)

l2 = tf.layers.dense(
    inputs=l1,
    units=10,
    activation=tf.nn.softmax
)

次に,構築Loss関数およびパラメータトレーニングを行う.
最後の出力層はソフトmax関数を用いるので、Loss関数はtfを用いる.nn.softmax_cross_entropy_with_logits()は、オプティマイザがAdamOptimizer()を使用します.

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=label_input, logits=l2))

train = tf.train.AdamOptimizer(1e-4).minimize(loss)

label_prediction = tf.argmax(l2, axis=1)

correct_prediction = tf.equal(tf.argmax(l2, axis=1), tf.argmax(label_input, axis=1))

accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

init = tf.global_variables_initializer()

最後にセッションを作成します.その中で注意が必要なのは、テストを行う際にも、テストデータはbatchに分けて訓練しなければならない.テストデータは28000本あるので、モデルに直接投げ込むとメモリ不足になりやすく、Process finished with exit code-1073740791(0 xC 000409)のエラーを報告する.

with tf.Session() as sess:
    sess.run(init)
    batch_total = 200
    batch_size = 40
    for epoch in range(18):
        for i in range(batch_total):
            x_batch = x[i*batch_size:(i+1)*batch_size, :]
            label_batch = label[i*batch_size:(i+1)*batch_size, :]
            sess.run(train, feed_dict={x_input:x_batch, label_input:label_batch})
        acc = sess.run(accuracy, feed_dict={x_input:x[:4000,:], label_input:label[:4000,:]})
        print('epoch'+str(epoch)+':'+str(acc))

    result = []
    batch_size = 200
    batch_test_total = len(test_input) // batch_size
    for i in range(batch_test_total):
        x_batch = test_input[i*batch_size:(i+1)*batch_size, :]
        list = sess.run(label_prediction, feed_dict={x_input: x_batch})
        result.extend(list)
    result_df = pd.DataFrame({'ImageId': range(1, len(result) + 1), 'Label': result})
    result_df.to_csv('./data/predictionOfcnn.csv', index=False)

最後に生成したcsvファイルをkaggleに直接提出することができます.