home transformers gmlp

View code on Github

注意 MLP (GmLP)

这是 P yTorch 对《注意 MLP》一文的实现。

本文介绍了一种基于多层感知器（MLP）的带有门控的架构，他们将其命名为 gmLP。它由一堆$L$ gmLP 块组成。

这是基于 GmLP 模型的自回归模型的训练代码。