Github#MLPミキサー:ビジョン用のオールMLPアーキテクチャこれは、論文「MLPミキサー:ビジョン用のオールMLPアーキテクチャ」をPyTorchで実装したものです。本稿では、このモデルをビジョンタスクに適用します。このモデルは、アテンションレイヤーがパッチ(NLPタスクの場合はトークン)全体に適用されるMLPに置き換えられるトランスフォーマーに似ています。Mixerの実装は、トランスフォーマー実装のセルフアテンションレイヤーに代わるものです。適用するだけのコードです。Mixerを適用しましたが、マスクされた言語モデルで試してみました。これが実験コードです。ミキサーこのモジュールは、セルフアテンションレイヤーに代わるドロップインモジュールです。入力テンソルをMLPにフィードする前に転置して戻すので、MLPはフィーチャディメンションではなくシーケンスディメンション全体(トークンまたはイメージパッチ)に適用されます。mlp#通常のアテンションモジュールには、、、query、keyマスクにさまざまなトークンを埋め込むことができます。value同じ関数シグネチャに従うので、直接置換できます。x=query=key=valueMLPミキシング用で、マスキングはできません。value#MLPミキサーはマスキングをサポートしていません。すべてのトークンに他のすべてのトークン埋め込みが表示されます。query#最後の次元がシーケンス次元になるように転置します。