【まとめ】機械学習初心者がTensorflowでネコの画像認識をつくってみたらどうなったか

14532 ワード
gcp AI TensorFlow scraping MachineLearning MachineLearning テキストリンク

Tensorflowでネコを画像認識する仕組みをつくってみました！

機械学習の超初心者がTensorflowを元にいろいろつくってみたので紹介します。

最終的につくったものはこちら↓↓↓

ねこチェッカー　サービスクローズ済み

Introduction

前提

どんな人がやってみたのか、私のプロフィールを少し詳しく説明します。

  • インフラ・運用系エンジニア（約9年）
  • 機械学習ははじめてチャレンジ
  • 数学や統計学も初心者（文系の人）
  • 言語はPHP/JavaScript/Perlなどの軽いものだけやったことがある

まとめると超初心者ですね。
統計とかさっぱりです。

今回試してみたきっかけは、トレンドである機械学習は本当に簡単なのか、もしくは大変なことが多いのか、レベルの高いものは作れるのか、いろいろと自分自身で体感してみたかったからです。

Themes

この記事でまとめるのはこんなことです。

  • 機械学習初心者がTensorflowを試して
  • 良かったこと
  • 大変だったこと

機械学習の統計とか数学的な話はでてきません。
というか勉強中なので書けません。

主に、何が楽しくて何が大変かを整理してお伝えしていきます。

大変なことのほうが圧倒的に多いのですが、どんな壁が待っているかをみなさんに伝えられたら幸いです。

Tensolflowとは?

まずTensorflowについて。
ここは割愛します。ググってください。たくさん記事が出てきますよ！

簡単にいうと、機械学習を簡単に利用できるライブラリです。
仕様を意識せずに機械学習を行える反面、細かいカスタマイズはできないようです。

今回は機械学習の効果を体感するのが目的なので、細かいところは一旦無視します。

やったこと

今回実施したことは以下の3点です。

  • ネコの画像をスクレイピングして集める
  • 画像を学習させる
  • お題となる画像を与えて認識できるかチェックしてみる

イメージ

これが完成イメージ。

まずはネコの画像データを与えます。

このネコの画像（ロシアンブルー）を元に結果を問い合わせるコマンドを実行。

python3 /usr/local/tf/label_image.py --image cat1.jpg --graph /usr/local/tf/retrained_graph.pb

すると結果が返ってくる！

russianblue 0.7167683
americanshorthair 0.15780476
munchkin 0.0629924
mikanecat 0.047680147
persia 0.014754322

この場合はrussianblue 0.71...となっています。
ロシアンブルーの確信度が71%ということですね！

環境

実施した環境はGCPを使っています。
一番弱いインスタンスです。

  • GCP VMインスタンス：n1-standard-1(vCPU x 1、メモリ 3.75 GB)
  • OS：Debian 4.9
  • Python：3.5.3

チュートリアルにそって実装

基本的にチュートリアルにそってコーディングしていきます。

Image recognitionのページです。
TensorFlow - Image Recognition

基本的にすべて英語ですが、コマンドさえわかれば問題ありません。
臆せずチャレンジしましょう。

まずはスクレイピング

TensorFlowを始める前に、まずは利用する画像データをとってきます。

手でダウンロードしていくのは大変なので、スクレイピングという方法をとります。
今回はgoogleimagesdownloadというコマンドを使います。

pip3 install google_images_download
googleimagesdownload -k "Scottish Fold"

ダウンロードして実行。
-k のあとのダブルクオート内にサーチするキーワードを入れればOKです。
この場合はスコティッシュフォールドの画像を探しています。

画像をとってきた！

うまくいくと以下のような形で画像データがゲットできます。

-rw-r--r-- 1 xxx xxx   19369 Sep 16 09:04 18. scottish_fold2.jpg
-rw-r--r-- 1 xxx xxx    5604 Sep 16 09:04 16. 220px-white_scottishfold.jpg
-rw-r--r-- 1 xxx xxx  688222 Sep 16 09:04 99. 6.jpg
-rw-r--r-- 1 xxx xxx   75596 Sep 16 09:04 95. scottish_fold_white_550x367.jpg
-rw-r--r-- 1 xxx xxx  140625 Sep 16 09:04 82. angus.jpg
-rw-r--r-- 1 xxx xxx   10598 Sep 16 09:04 68. scottish334.jpg
-rw-r--r-- 1 xxx xxx  201425 Sep 16 09:04 44. animal023_0702_4k.jpg
-rw-r--r-- 1 xxx xxx   24863 Sep 16 09:04 38. 250px-scottish_fold_cat.jpg
-rw-r--r-- 1 xxx xxx   42854 Sep 16 09:04 35. fabio-petroni-scottish-fold-cat_a-g-13454525-14258384.jpg
-rw-r--r-- 1 xxx xxx   54599 Sep 16 09:04 15. 1.jpg
-rw-r--r-- 1 xxx xxx  117165 Sep 16 09:04 11. 16979752-curious-striped-scottish-fold-kitten.jpg
-rw-r--r-- 1 xxx xxx  715242 Sep 16 09:04 10. scottish-fold-cats-michael-d3f35258_cfa6cf2b.jpg
-rw-r--r-- 1 xxx xxx   17777 Sep 16 09:04 55. scottish-fold-1.jpg
-rw-r--r-- 1 xxx xxx  233039 Sep 16 09:04 50. adult-male-blue-scottish-fold-cat-with-golden-eyes-standing-looking-picture-id505322557.jpg

一気にダウンロードできるので相当楽です。便利ですねー。

最初は5種類×60枚で行なっていたのですが、このやり方が楽だったため、30種類（人気順）×100枚とってみました。

が・・・これが大変なことになるきっかけとなっていたのです・・・

3つの代表的なエラーケース

ネコじゃない。。。

まずはひとつめ。
Minuetというネコを取得したくて、キーワードに"Minuet"と指定したケース。

曲がヒットしてしまいました。。。
本当はネコが欲しいのに。

このようにネコの名前であっても、一般名詞的な使われ方をする場合があるので注意が必要です。
このような場合、"Minuet cat"というように、ネコであることを強調してスクレイピングしましょう。

ネコ以外が入っている！

次はネコ以外が入っているケース。

かわいい。

かわいいことはかわいいのです。

ただ違う。

イヌは今回は呼んでないのです。

顔が見えない！

次はこんな場面。

ネコであることは良いのですが、こっちを向いてくれていません。。。
お願いだから顔を上げて。。。

ここまでやってみて。。。

＿人人人人人人人人人人人＿
＞　意外と手作業が大変　＜
￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y￣

でした。スクレイピングしたデータをそのまま使える、と思っていたのですが、ある程度は手でなんとかしなきゃいけないんですね。

Tensorflowインストールと実行

Tensorflowのインストール

やっとTensorFlowです。
以下のコマンドでインストール。

sudo apt-get install -y git build-essential libssl-dev language-pack-id
pip3 install --upgrade pip
pip3 install tensorflow

Tensorflowの実行テスト

実際にTensorflowの動作確認をしてみます。

python3
import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

’Hello, TensorFlow!' と表示されればOK。

学習させる

続いて学習させます。
このコマンドもチュートリアルにあります。

python3 retrain.py \
  --bottleneck_dir=bottlenecks \
  --how_many_training_steps=100 \
  --model_dir=inception \
  --summaries_dir=training_summaries/basic \
  --output_graph=retrained_graph.pb \
  --output_labels=retrained_labels.txt \
  --image_dir=gakusyu_data

2つポイントがあります。

--how_many_training_steps=100
ここには学習回数を指定します。この場合100回です。

--image_dir=gakusyu_data
ここにはネコの画像があるディレクトリを指定します。この場合gakusyu_dataです。

さあ、これでコマンドを実行します！

学習が完了したかな？と思ったところ、また問題が・・・

エラー①：ファイル名 too long

OSError: [Errno 36] File name too long: "bottlenecks/British Shorthair/85. pet-cat-mammal-whiskers-vertebrate-british-shorthair-european-shorthair-chartreux-russian-blue-korat-cat-mia-small-to-medium-sized-cats-cat-like-mammal-domestic-short-haired-cat-american-shorthair-blue-cat's-743876.jpg_https~tfhub.dev~google~imagenet~inception_v3~feature_vector~1.txt"

ファイル名が長いらしいです。。

よくみると確かに恐ろしい長さです。

mvで短いファイル名に置換してあげましょう。

エラー②：ファイルサイズ too large

RuntimeError: Error during processing file gakusyu_data_max/Singapura cat/4. moonwalker_the_singapura.jpg (Invalid JPEG data or crop window, data size 1671168
     [[Node: DecodeJpeg = DecodeJpeg[acceptable_fraction=1, channels=3, dct_method="", fancy_upscaling=true, ratio=1, try_recover_truncated=false, _device="/job:localhost/replica:0/task:0/device:CPU:0"](_arg_DecodeJPGInput_0_0)]]

今度はファイルサイズが大きすぎるようです。

よく見てみると解像度が「5120×3200」とかです。

サイズの大きいものは削除しましょう。

エラー③：メモリエラー

2018-09-04 22:38:06.231041: W tensorflow/core/framework/allocator.cc:108] Allocation of 49152000 exceeds 10% of system memory.
Killed

こんなエラーも出ました。Killedされてる。。
GCPのインスタンスをケチったのが原因かな？

vmstatでリソースを見てみると・・・

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  1      0 450924  20304 161204    0    0  6956     0  419  723 17  5  1 77  0
 1  0      0 400084  20952 177928    0    0  7512     0  636 1252 27  6  0 67  0
 1  0      0 286564  23868 192108    0    0  5916     0  333  853 80  9  0 11  0
 6  0      0 275664  23872 192704    0    0     8     0  843 1527 93  6  0  1  0
 1  0      0 218664  23872 192772    0    0     0     0  282  108 92  8  0  0  0
 2  0      0 177000  23884 194284    0    0  1508     0  289  142 92  4  0  4  0
 0  1      0  80156  23884 243408    0    0 38980     0  455 1121  9  8  0 83  0
 0  2      0  81912  23884 207460    0    0 32028     0  491 4125 17 15  0 69  0
 1  0      0  75488   8708 208428    0    0 19568     0  638 1390 57  8  0 35  0
 1 21      0 609060    236  50240    0    0 14988    84  670 1367 28 56  0 15  0

si/soこそ発生していないものの、純粋なfree memoryは75KBですね。

一時的にスケールアップさせてあげます。

クラウドなのですぐできたのは良かった点。

やっと画像認識を確認してみる

さあ、これでやっと準備OKです。
ここまで来るのに大変でした。

画像認識は試しにこの画像で実行してみます。

実行コマンドは以下のものです。
xxx.jpgに画像ファイルを指定します。

python3 label_image.py --xxx.jpg --graph retrained_graph.pb --labels retrained_labels.txt

判定結果が出力された！！

ついに！判定結果が出力されました！

persia: 0.28
bengal: 0.07
american shorthair: 0.05
singapura cat: 0.04
abyssinian: 0.03

この場合、ペルシャ猫の確信度が28%ということですね。

あれ？でもちょっとまってください。
30種類インプットしたはずなのに、5種類しか表示されていませんね。

label_image.pyを改修する

いろいろ試行錯誤や質問してみた結果、label_image.pyのソースにキーはありました。

top_k = results.argsort()[-5:][::-1]

既存のソースコードだと、上位5件のみをリターンするようになっています。

そのため、以下のように変更する必要があります。

  top_k = results.argsort()[::-1]
  labels = load_labels(label_file)
  for i in top_k:
    print('{}: {:.2f}'.format(labels[i], results[i]))

こうすると、すべての結果をリターンしてくれるようになります。

実行してみると・・・

persia: 0.28
bengal: 0.07
american shorthair: 0.05
singapura cat: 0.04
abyssinian: 0.03
tonkinese: 0.028
birman: 0.025
ragdoll: 0.023
munchkin cat: 0.021
laperm: 0.02
scottish fold: 0.02
ragamuffin: 0.02
...
..
.

すべて表示されました！これで思っていた結果になりました。

学習回数を増やしてみる

学習回数を変更して実施してみました。

学習回数100回

persia 0.124754322

学習回数500回

persia 0.291819281

結構変わりますね。学習回数を上げるほど良い結果がでるようですが、どこまでチューニングすればいいかはまだわかりません。

まとめ

Good!

動く！楽しい！

初心者でもここまで動かすことができると本当に楽しいです。

大変さが実感できる。

今回いろいろなエラーケースを書きました。できる人からするとなんでもないことかもしれませんが、初めてやってみるとどれだけ大変かが身をもってわかりました。

Try

手作業（工夫の余地）が結構多い。

スクレイピングしてそのままのデータを利用できないということがわかりました。
使える形にするスクリプトを作って効率化するかkaggleのようなデータセットをもってくるのが良さそうです。（kaggleはあとで知りました）

似ている種類は判別難しい。

30種類で試してみましたが、似ている種類は間違った結果になることも多かったです。
もっと特徴が全然違うものにするとわかりやすいのかもしれません。

Webにしてみました

コマンドラインだけで実行していると味気なかったのでWebにしてみました。

実際のサイトはこちら。

ねこチェッカー サービスクローズ済み

画像ファイルをアップロードすると、結果を返してくれます。
ネコじゃなくても必ず結果をかえすのでおもしろいです。

さいごに

大変なことも多かった、はじめての機械学習。
チュートリアルメインでしたが、ほぼ自力でここまでできました。

色々な種類や方法があふれていますが、Tensorflowは比較的やりやすいと思います。
あまり多くのデータや種類を組み込まなければ、エラーになるケースも少ないかと思います。

興味がある方は、一度試してみても良いかもしれませんね。