home transformers fnet

View code on Github

FNet：将令牌与傅里叶变换混合

这是论文《FNet：将代币与傅里叶变换混合》的 PyTor ch 实现。

本文用两个傅里叶变换取代了自我注意力层，以混合令牌。这比自我注意力高7倍。在 GLUE 基准测试中，BERT 使用它而不是自我注意力的准确性损失约为92％。