[Bostcamp AI技術][U-stage]6週間の2日目学習記録

学習内容

Image classification models

Deeper層の問題

通常、より深いネットワークはより良いパフォーマンスを示します.

より複雑な機能を学ぶことができます.

Larger感受野を有する.

さらに

非線形性を有する.

しかし盲目的に積み重ねてしまうと、勉強ができなくなります.

Gradient vanishing/exploding

増加演算量

Degradation problem

分類アーキテクチャ(昨日に続いて)

GoogleNet

Inceptionモジュールの使用

層は、複数の畳み込みフィルタを用いる演算

を行う.

1 x 1の畳み込みによりチャネル数が減少する.

Auxiliary classifier

ResNet

Degradedの問題を解決し,階層化をより深くするモデル

Shortcut connection(skip connection)

層の前のxを記憶し、現在の層に反映し、元の情報xを保持する.

DenseNet

数段前の層だけでなく、以前の複数の層の情報も受信する.

channel axis軸で接続します.(resnetはskip connectionを+演算したことがある.)

カスケードはチャネルを追加するが、元の信号を保持する効果がある.メモリまたは計算が増加します.

SENet

チャンネルによると、重要な点に注意.

EfficientNet

もう1つの設計方法:幅スケール、深さスケール、解像度スケール

低いストリームでも優れたパフォーマンス

Deformable convolution

は、固定するフィルタ形状ではなく、物体の変形形状に応じて受容野

を決定する.

統合。

GoogLeNet(Inception)はメモリと演算量の面で非常に効率的であるが,学習を複雑にする要因もあり,使いにくい.

VGGENETやResNetはシンプルで、性能も良く、メインとしてよく使われています.

ピアセッション

組員はrequire grad設定方法を調査し発表した.私が使っている方法も含めていろいろな方法を紹介してくれて、特に私が使っている方法に間違いがあることを知ってくれて、本当に感謝しています.

# Freeze the feature extracting convolution layers
# Use chlidren
for name, child in model_finetune.named_children():
    if name in ['features']:
        for child_parm in child.parameters():
            child_parm.requires_grad = False

# Use modules. <class 'torch.nn.modules.*'>
for layer in model_finetune.features:
    layer.requires_grad_(False)

# Use parameters. <class 'torch.nn.parameter.Parameter'>
for parm in model_finetune.features.parameters():
    parm.requires_grad = False

# module requires_grad_
model_finetune.features.requires_grad_(False)

私は第2の finetune.featuresを第3の形態に変えて、既存の第2の形態を使うときは requires_grad = Falseの形態を使っています.間違ったことを知らせてくれたことに改めて感謝します.

CutMixの詳細については,知識蒸留においてクロスエントロピーの代わりにKN分散を用いた理由,softmaxに重みTを加えて平滑化する意味について,Semantic Immationの意味に疑問を提起したが,確かに答えにくく,次の対等セッションまで学習してから回答することにした.

特別事項

は今日からGithubへの1日の提出を目指してアルゴリズムの解答を開始します.

Github貯蔵庫を作る過程で他のGithubに対して装飾的なCamperを参考にしましたが、Github blogではありませんが、blogのように書かれている姿が印象的でした.Githubの毎日の振り返りを整理するのも悩みになり、まずはBoost Campの記録をここに書いて、後で決めます.

に感銘を与える

選手たちから多くの質問があったので、自分が理解している部分が分かりにくいことに気づきました.メンバーに感謝します.私もこのような質問をたくさんしたいです.また、講義内容についても明確に理解しなければならない.

講義は余裕があって、CutMixの論文と資料を見ながら勉強しているので、確かに論文を見るのは難しいですが、内容が多く、説明性がよくて、とても役に立つようです.普段は論文を読むのを避けないでください.中秋節にも論文を実現することができます.

Githubの提出を始め、私もどんな製品の組み合わせがあるか楽しみにしています.私もGithubを装ってGithubだけで私を表現できる人になりたいです.