home transformers fast_weights

View code on Github

高速ウェイトトランス

これは、PyTorchの論文「リニアトランスフォーマーは密かに高速ウェイトメモリシステム」に注釈を付けて実装したものです。

これが注釈付きの実装です。以下は、Tiny Shakespeareデータセットで高速ウェイトトランスフォーマーをトレーニングするためのトレーニングコードとノートブックです

。