Need」に掲載されたオリジナルのトランスフォーマーの説明、およびその派生品と拡張機能が含まれています。XLこれは、相対的なマルチヘッドアテンションを使用したトランスフォーマーXLモデルを実装しています。線形バイアスによる注意これは、線形バイアス(AliBi)によるアテンションを実装したものです。XLを拡張したもので、最も古いメモリを圧縮してアテンションスパンを長くします。アーキテクチャの実装です。バリアントこれは論文「GLUバリアント改良トランスフォーマー」の実装です。KNN-LMこれは、「記憶による一般化:最近傍言語モデル」という論文の実装です。フィードバック変圧器これは、「フィードバックメモリを用いたシーケンシャル・トランスフォーマーの高位表現へのアクセス」という論文の実装です。スイッチトランスこれは、論文の「スイッチトランスフォーマー:シンプルで効率的なスパース性を備えた1兆パラメータモデルへのスケーリング」のミニチュア実装です。私たちの実装には数百万のパラメーターしかなく、モデルの並列分散トレーニングは行いません。シングルGPUトレーニングを行いますが、論文で説明されているようにスイッチングの概念を実装しています。高速ウェイトトランスこれは、PyTorchの論文「リニアトランスフォーマーは密かに高速ウェイトメモリシステム」の実装です。トークンをフーリエ変換と混合する」の実装です。アテンションフリー変圧器これは論文「アテンション・フリー・トランスフォーマー」の実装です。マスク言語モデルこれは、論文「BERT:言語理解のためのディープ双方向トランスフォーマーの事前トレーニング」の事前トレーニングに使用されたマスク言語モデルの実装です。MLPミキサー:ビジョン用のオールMLPアーキテクチャこれは、論文「MLPミキサー:ビジョン用のオールMLPアーキテクチャ」の実装です。ご注意くださいこれは、論文「MLPに注意を払う」の実装です。ためのトランスフォーマー」の実装です。EZこれは、「入門書:言語モデリングのための効率的なトランスフォーマーの探求」という論文の実装です。砂時計これは、「階層型トランスフォーマーはより効率的な言語モデル」という論文の実装です。