視覚変圧器や言語変圧器で使用すると、注意の実装はどのように異なりますか？
視覚変圧器と言語変圧器における注意の実装は、主に入力表現とシーケンスの長さが異なります。

言語変圧器では、入力は通常、単語やサブワードなどの個別のトークンのシーケンスであり、1つのホットベクトルまたは埋め込みとして表されます。シーケンスの長さは非常に長く、場合によっては最大数千トークンです。注意メカニズムは、シーケンスのさまざまな部分に選択的に注意を払うために使用され、モデルがトークン間の複雑な関係を学習し、自然言語生成タスクなどの出力シーケンスを生成することができます。

対照的に、ビジョン変圧器では、入力は通常、画像パッチのセットであり、それぞれが高次元ベクトルとして表されます。シーケンスの長さは、言語変圧器と比較してはるかに短く、通常は数百のパッチしかありません。注意メカニズムは、さまざまなパッチに参加し、それらの間の空間的関係をキャプチャするために使用され、モデルがオブジェクトの検出や画像分類などの下流タスクに適した表現を学習できるようにします。

入力表現とシーケンスの長さは異なりますが、注意メカニズムの基本的なアイデアは両方のタイプの変圧器で同じままです。さまざまなレベルの重要性を持つ入力のさまざまな部分に参加し、参加した情報を使用して出力表現を生成します。