自己注意メカニズムとは何ですか？
注意（英語：注意）は、人工ニューラルネットワークで認知的注意を模倣するテクノロジーです。このメカニズムは、ニューラルネットワークの入力データ内の一部の部分の重みを強化し、他の部分の重みを弱めて、データの最も重要な部分でネットワークの注意点を集中させることができます。コンテキストに応じて、データ内のどの部分が他の部分よりも重要です。注意メカニズムは、グラデーションドロップ方法を通じてトレーニングできます。
自己注意は、注意メカニズムのバリアントです。これは、同じシーケンスの特性を計算するための単一シーケンスの異なる位置に関連する一種の注意メカニズムです。機械の読み取り、抽象要約、または画像の説明に非常に役立つことが証明されています。