論文「Attention is all you need」で初めてTransformerモデルを提案し、その後のLLMに大きな影響を与えた。この論文に書かれているTransformerの主なコアアイデアを教えてください。
トランスフォーマーとは、入力データの各部分の重要度を差分的に重み付けする自己注目の仕組みを採用した深層学習モデルなのだ。主に自然言語処理（NLP）やコンピュータビジョン（CV）の分野で利用されているのだ。

リカレントニューラルネットワーク（RNN）と同様に、トランスフォーマーは自然言語のような連続した入力データを処理するように設計されており、翻訳やテキスト要約などのタスクに応用されているのだ。しかし、RNNとは異なり、トランスフォーマーは入力全体を一度に処理するのだ。アテンション機構は、入力シーケンスの任意の位置に対してコンテキストを提供するのだ。例えば、入力データが自然言語の文章である場合、トランスフォーマーは一度に1つの単語を処理する必要がありません。これにより、RNNよりも並列化が可能になるため、学習時間を短縮することができるのだ。

Transformersは2017年にGoogle Brainのチームによって導入され、LSTM（Long Short Memory）などのRNNモデルに代わって、NLP問題で選択されるモデルとなってきているのだ。トレーニングの並列化が追加されたことで、より大きなデータセットでのトレーニングが可能になりました。そのため、BERT（Bidirectional Encoder Representations from Transformers）やGPT（Generative Pre-trained Transformer）といった、WikipediaコーパスやCommon Crawlといった大規模な言語データセットで学習し、特定のタスクに合わせて細かく設定できる事前学習済みシステムが開発されました。
本論文は、Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia.によるもので2017年に発表されました。その後のGPTシリーズモデルやBERTシリーズモデルの礎を築いた。GPTモデルはTransformerのデコーダー部分、BERTモデルはTransformerのエンコーダー部分を使用しているのだ。Transformerモデルの主なコアアーキテクチャは以下の通りなのだ：自己保持機構、位置エンコード、エンコーダ-デコーダアーキテクチャ、マルチヘッドアテンション。
Transformerは、Attention機構を用いることで、従来のRNN/LSTMモデルの困難な並列問題を効果的に解決しているのだ。Self-Attentionを使うことで、NLPにおけるラベル付きデータが限られているという問題を解決しているのだ。入力テキストの配列情報は、Positional Encodingによって保存されるのだ。また、Multi-Head Attentionにより、TransformerはCNNモデルにおけるChannelの概念と同様に、訓練データの異なるパターンを学習することができるのだ。