home transformers fnet

View code on Github

FNet: フーリエ変換によるトークンの混合

これは、論文「FNet: トークンをフーリエ変換と混合する」をPyTorchで実装したものです。

この論文では、自己注意層を2つのフーリエ変換に置き換えてトークンを混合します。これは自己処理よりも7倍効率的です。BERT on GLUE ベンチマークでは、自己注意よりもこれを使用した場合の精度の低下は約 92%

です。