グループ正規化

バッチ正規化はバッチ全体で正規化されるため、バッチサイズが十分大きい場合はうまく機能しますが、小さなバッチサイズには適していません。デバイスのメモリ容量により、バッチサイズの大きい大規模モデルのトレーニングは不可能です。

本稿では、一連の特徴をグループとしてまとめて正規化するグループ正規化について紹介します。これは、SIFTやHOGなどの古典的特徴はグループごとの特徴であるという観察に基づいています。この論文では、フィーチャチャネルをグループに分割し、各グループ内のすべてのチャネルを個別に正規化することを提案しています

。

インスタンスの正規化を使用する CIFAR 10 分類モデルを次に示します。