伝統的な中国語を使用してください
OK注意メカニズム（英語：注意）は、人工ニューラルネットワークで認知的注意を模倣するテクノロジーです。このメカニズムは、ニューラルネットワークの入力データの一部の部分の重みを強化し、データの情報の最も重要な部分に焦点を当てて、他の部分の重みを弱めます。情報のどの部分が、他の部分がコンテキストに依存するよりも重要です。注意メカニズムは、グラデーションドロップ方法を通じてトレーニングできます。
自己関節は注意メカニズムの変種です。これは、単一の入力シーケンスの異なる位置データの一種の注意メカニズムです。言語モデル、機能、画像生成などのタスクで非常に役立つことが証明されています。