home transformers gmlp

View code on Github

MLP (GMLP) にご注意ください

これは、論文「MLPに注意して」をPyTorchで実装したものです。

この論文では、ゲーティングを備えた多層パーセプトロン（MLP）ベースのアーキテクチャ（GMLPと名付けられています）を紹介します。$L$gMLP ブロックのスタックで構成されています

。

gMLPモデルベースの自己回帰モデルのトレーニングコードは次のとおりです。