視覚変圧器や言語変圧器で使用すると、注意の実装はどのように異なりますか？
視覚変圧器と言語変圧器における注意の実装は、入力データの性質とモデルの構造により異なります。

言語変圧器では、入力データは、モデルによって一度に1つずつ処理される単語やサブワードなどのトークンのシーケンスで構成されています。言語変圧器の注意メカニズムは、トークン間の意味のある関係を抽出するために、入力シーケンスのさまざまな部分に注意するように設計されています。入力シーケンスは通常、複数のセグメントまたは「ヘッド」に分割され、各ヘッドはそのセグメントのトークン間の関係に基づいて一連の注意ウェイトを計算します。次に、異なるヘッドの出力を連結し、直線的に変換して最終的な注意出力を生成します。

Vision Transformersでは、入力データは、モデルによってフラット化され処理される2Dパッチのシーケンスとして表される画像で構成されています。Vision Transformersの注意メカニズムは、オブジェクトの検出や画像分類など、手元のタスクに関連する機能を抽出するために、画像のさまざまな部分に参加するように設計されています。言語変圧器とは異なり、視覚変圧器の注意メカニズムは通常、複数のセグメントやヘッドを使用しません。代わりに、単一の注意マトリックスを使用して、画像内のパッチのすべてのペア間で注意力を計算し、その後、パッチの加重合計を生成するために使用されます。注意メカニズムの出力は、通常、さらなる処理のためにフィードフォワードニューラルネットワークに供給されます。

全体として、基礎となる注意の原則は言語とビジョン変圧器で類似していますが、特定の実装は、入力データの一意の特性とモデルの構造に合わせて調整されています。