3:Train with customized models and standard datasets標準データセットでカスタムモデルを訓練

In this note, you will know how to train, test and inference your own customized models under standard datasets.
この記事では、標準データセットの下で独自のカスタムモデルを訓練、テスト、推定する方法について説明します.
We use the cityscapes dataset to train a customized Cascade Mask R-CNN R50 model as an example to demonstrate the whole process, which using AugFPN to replace the defalut FPN as neck, and add Rotate or Translate as training-time auto augmentation.
cityscapesデータセットを用いてカスタムカスケードMask R‐CNN R 50モデルを訓練した例を用いて,トレーニング時間の自動増強として「AugFPN」を用いてデフォルトの「FPN」をネックと置換し,「Rotate」または「Translate」を追加するプロセス全体を実証した.
The basic steps are as below:基本手順は以下の通りです.

Prepare the standard dataset寸法データセット

を準備

Prepare your own customized modelカスタムモデル

を用意

Prepare a config config

を準備する

Train, test, and inference models on the standard dataset. トレーニング、テスト、予測モデル

標準データセット

Prepare the standard dataset標準データセットの準備

In this note, as we use the standard cityscapes dataset as an example.
本説明では、標準cityscapeデータセットを例として使用します.
It is recommended to symlink the dataset root to $MMDETECTION/data . If your folder structure is different, you may need to change the corresponding paths in config files.
シンボルリンクデータセットルートを'$MMDETECTION/data'にリンクすることを推奨します.
フォルダ構造が異なる場合は、プロファイル内の適切なパスを変更する必要があります.

>mmdetection
├── mmdet
├── tools
├── configs
├── data
│   ├── coco
│   │   ├── annotations
│   │   ├── train2017
│   │   ├── val2017
│   │   ├── test2017
│   ├── cityscapes
│   │   ├── annotations
│   │   ├── leftImg8bit
│   │   │   ├── train
│   │   │   ├── val
│   │   ├── gtFine
│   │   │   ├── train
│   │   │   ├── val
│   ├── VOCdevkit
│   │   ├── VOC2007
│   │   ├── VOC2012

The cityscapes annotations have to be converted into the coco format using
cityscapes寸法モードからcocoモードに変換tools/dataset_converters/cityscapes.py :

>pip install cityscapesscripts
python tools/dataset_converters/cityscapes.py ./data/cityscapes --nproc 8 --out-dir ./data/cityscapes/annotations

Currently the config files in cityscapes use COCO pre-trained weights to initialize. You could download the pre-trained models in advance if network is unavailable or slow, otherwise it would cause errors at the beginning of training.
現在、cityscapesのプロファイルは、COCO事前トレーニングの重みを使用して初期化されている.
ネットワークが通じないか、速度が遅い場合は、事前にトレーニングしたモデルをダウンロードすることができます.そうしないと、トレーニングを開始するときにエラーが発生します.

Prepare your own customized model独自のカスタムモデルを用意

The second step is to use your own module or training setting. Assume that we want to implement a new neck called AugFPN to replace with the default FPN under the existing detector Cascade Mask R-CNN R50. The following implements AugFPN under MMDetection.
2つ目のステップは、独自のモジュールまたはトレーニング設定を使用することです.既存の検出器カスケードマスクR−CNN R 50のデフォルトの「FPN」に置き換えるために「AugFPN」という新しいネックを実現したいと仮定する.以下、MMDetectionの下で「augfpn」を実現する.

1.Define a new neck(e.g.AugFPN)新しいneckを定義する

Firstly create a new file mmdet/models/necks/augfpn.py .
第1のステップは、ファイルmmdet/models/necks/augfpn.pyを新たに作成する.

>from ..builder import NECKS

@NECKS.register_module()
class AugFPN(nn.Module):

 def __init__(self,
 in_channels,
 out_channels,
 num_outs,
 start_level=0,
 end_level=-1,
 add_extra_convs=False):
 pass

 def forward(self, inputs):
 # implementation is ignored
 pass

2.Import the moduleインポートモジュール

You can either add the following line to mmdet/models/necks/__init__.py ,
「mmdet/models/necks/init」に次の行を追加できます.py ',

>from .augfpn import AugFPN

or alternatively add
または

>custom_imports = dict(
 imports=['mmdet.models.necks.augfpn.py'],
 allow_failed_imports=False)

to the config file and avoid modifying the original code.
プロファイルに移動し、元のコードの変更を回避します.

3.Modify the config file configファイルの修正

>neck=dict(
 type='AugFPN',
 in_channels=[256, 512, 1024, 2048],
 out_channels=256,
 num_outs=5)

For more detailed usages about customize your own models (e.g. implement a new backbone, head, loss, etc) and runtime training settings (e.g. define a new optimizer, use gradient clip, customize training schedules and hooks, etc), please refer to the guideline Customize Models and Customize Runtime Settings respectively.
独自のモデルのカスタマイズ(たとえば、新しい基幹、頭部、損失などを実装する)とランタイムトレーニング設定(たとえば、新しいオプティマイザを定義したり、勾配クリップを使用したり、トレーニングスケジュールやフックをカスタマイズしたりする)のより詳細な使用方法については、指南カスタムモデルとカスタム実行時の設定を参照してください.

Prepare a config

The third step is to prepare a config for your own training setting. Assume that we want to add AugFPN and Rotate or Translate augmentation to existing Cascade Mask R-CNN R50 to train the cityscapes dataset, and assume the config is under directory configs/cityscapes/ and named as cascade_mask_rcnn_r50_augfpn_autoaug_10e_cityscapes.py , the config is as below.
3つ目のステップは、自分のトレーニングの構成を設定することです.「AugFPN」および「回転」または「翻訳」を既存のMask R-CNN R 50 cityscapesデータセットトレーニングに追加したいと仮定し、ディレクトリconfigs/cityscapes/および「cascade_mask_rcnn_r 50_augfpn_autoaug_10 e_cityscapes.py」で構成されていると仮定します.以下の構成は同じです.

># The new config inherits the base configs to highlight the necessary modification
_base_ = [
 '../_base_/models/cascade_mask_rcnn_r50_fpn.py',
 '../_base_/datasets/cityscapes_instance.py', '../_base_/default_runtime.py'
]

model = dict(
 # set None to avoid loading ImageNet pretrained backbone,
 # instead here we set `load_from` to load from COCO pretrained detectors.
 pretrained=None,
 # replace neck from defaultly `FPN` to our new implemented module `AugFPN`
 neck=dict(
 type='AugFPN',
 in_channels=[256, 512, 1024, 2048],
 out_channels=256,
 num_outs=5),
 # We also need to change the num_classes in head from 80 to 8, to match the
 # cityscapes dataset's annotation. This modification involves `bbox_head` and `mask_head`.
 roi_head=dict(
 bbox_head=[
 dict(
 type='Shared2FCBBoxHead',
 in_channels=256,
 fc_out_channels=1024,
 roi_feat_size=7,
 # change the number of classes from defaultly COCO to cityscapes
 num_classes=8,
 bbox_coder=dict(
 type='DeltaXYWHBBoxCoder',
 target_means=[0., 0., 0., 0.],
 target_stds=[0.1, 0.1, 0.2, 0.2]),
 reg_class_agnostic=True,
 loss_cls=dict(
 type='CrossEntropyLoss',
 use_sigmoid=False,
 loss_weight=1.0),
 loss_bbox=dict(type='SmoothL1Loss', beta=1.0,
 loss_weight=1.0)),
 dict(
 type='Shared2FCBBoxHead',
 in_channels=256,
 fc_out_channels=1024,
 roi_feat_size=7,
 # change the number of classes from defaultly COCO to cityscapes
 num_classes=8,
 bbox_coder=dict(
 type='DeltaXYWHBBoxCoder',
 target_means=[0., 0., 0., 0.],
 target_stds=[0.05, 0.05, 0.1, 0.1]),
 reg_class_agnostic=True,
 loss_cls=dict(
 type='CrossEntropyLoss',
 use_sigmoid=False,
 loss_weight=1.0),
 loss_bbox=dict(type='SmoothL1Loss', beta=1.0,
 loss_weight=1.0)),
 dict(
 type='Shared2FCBBoxHead',
 in_channels=256,
 fc_out_channels=1024,
 roi_feat_size=7,
 # change the number of classes from defaultly COCO to cityscapes
 num_classes=8,
 bbox_coder=dict(
 type='DeltaXYWHBBoxCoder',
 target_means=[0., 0., 0., 0.],
 target_stds=[0.033, 0.033, 0.067, 0.067]),
 reg_class_agnostic=True,
 loss_cls=dict(
 type='CrossEntropyLoss',
 use_sigmoid=False,
 loss_weight=1.0),
 loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0))
 ],
 mask_head=dict(
 type='FCNMaskHead',
 num_convs=4,
 in_channels=256,
 conv_out_channels=256,
 # change the number of classes from defaultly COCO to cityscapes
 num_classes=8,
 loss_mask=dict(
 type='CrossEntropyLoss', use_mask=True, loss_weight=1.0))))

# over-write `train_pipeline` for new added `AutoAugment` training setting
img_norm_cfg = dict(
 mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)
train_pipeline = [
 dict(type='LoadImageFromFile'),
 dict(type='LoadAnnotations', with_bbox=True, with_mask=True),
 dict(
 type='AutoAugment',
 policies=[
 [dict(
 type='Rotate',
 level=5,
 img_fill_val=(124, 116, 104),
 prob=0.5,
 scale=1)
 ],
 [dict(type='Rotate', level=7, img_fill_val=(124, 116, 104)),
 dict(
 type='Translate',
 level=5,
 prob=0.5,
 img_fill_val=(124, 116, 104))
 ],
 ]),
 dict(
 type='Resize', img_scale=[(2048, 800), (2048, 1024)], keep_ratio=True),
 dict(type='RandomFlip', flip_ratio=0.5),
 dict(type='Normalize', **img_norm_cfg),
 dict(type='Pad', size_divisor=32),
 dict(type='DefaultFormatBundle'),
 dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels', 'gt_masks']),
]

# set batch_size per gpu, and set new training pipeline
data = dict(
 samples_per_gpu=1,
 workers_per_gpu=3,
 # over-write `pipeline` with new training pipeline setting
 train=dict(dataset=dict(pipeline=train_pipeline)))

# Set optimizer
optimizer = dict(type='SGD', lr=0.01, momentum=0.9, weight_decay=0.0001)
optimizer_config = dict(grad_clip=None)
# Set customized learning policy
lr_config = dict(
 policy='step',
 warmup='linear',
 warmup_iters=500,
 warmup_ratio=0.001,
 step=[8])
total_epochs = 10

# We can use the COCO pretrained Cascade Mask R-CNN R50 model for more stable performance initialization
load_from = 'http://download.openmmlab.com/mmdetection/v2.0/cascade_rcnn/cascade_mask_rcnn_r50_fpn_1x_coco/cascade_mask_rcnn_r50_fpn_1x_coco_20200203-9d4dcb24.pth'

Train a new modelは新しいモデルを訓練します

To train a model with the new config,you can simply run新しい構成トレーニングモデルを使用すると、簡単に実行できます.

>python tools/train.py configs/cityscapes/cascade_mask_rcnn_r50_augfpn_autoaug_10e_cityscapes.py

For more detailed usages, please refer to the Case 1.

Test and inferenceテストと推定

To test the trained model,you can simply run訓練したモデルをテストするには、簡単に実行できます.

>python tools/test.py configs/cityscapes/cascade_mask_rcnn_r50_augfpn_autoaug_10e_cityscapes.py work_dirs/cascade_mask_rcnn_r50_augfpn_autoaug_10e_cityscapes.py/latest.pth --eval bbox segm

For more detailed usages, please refer to the Case 1.