群组标准化

这是 PyTorch 对群组标准化论文的实现。

批量标准化适用于足够大的批量大小，但对于小批量来说却不太好，因为它会在批次上进行标准化。由于设备的内存容量，无法训练批量较大的大型模型。

本文介绍了群组归一化，它将一组特征归一化为一个组。这是基于这样的观察，即诸如 SIFT 和 HO G之类的经典特征是按组划分的特征。该论文建议将特征信道分成组，然后分别对每个组内的所有信道进行标准化。

这是使用实例标准化的 CIFAR 10 分类模型。