`論文「Attention is all you need」首次提出了Transformer模型，對後來的LLM產生了深遠的影響。請給出該論文中描述的Transformer的主要核心思想。`

Transformer的主要核心思想是使用自注意力機制（self-attention mechanism）來實現序列到序列的建模。在傳統的序列模型中，如RNN
Transformer是一種深度學習模型，採用自注意力機制，不同地加權每個輸入資料的重要性。它主要用於自然語言處理（NLP）和計算機視覺（CV）領域。

與迴圈神經網路（RNN）類似，Transformer被設計用於處理序列輸入資料，例如自然語言，應用於翻譯和文字摘要等任務。但是，與RNN不同，Transformer一次處理整個輸入。注意機制為輸入序列中的任何位置提供上下文。例如，如果輸入資料是自然語言句子，則Transformer不必逐個單詞處理。這比RNN更容易並行化，因此減少了訓練時間。

Transformer是由Google Brain團隊於2017年推出的，並越來越成為NLP問題的首選模型，取代了RNN模型，例如長短期記憶（LSTM）。額外的訓練並行化允許在更大的資料集上進行訓練。這導致了預訓練系統的開發，例如BERT（雙向編碼器表示來自Transformer）和GPT（產生預訓練Transformer），它們使用大型語言資料集進行訓練，例如維基百科語料庫和Common Crawl，並可以針對特定任務進行微調。
本文作者為 Vaswani、Ashish 和 Shazeer、Noam 和 Parmar、Niki 和 Uszkoreit、Jakob 和 Jones、Llion 和 Gomez、Aidan 和 Kaiser、Lukasz 和 Polosukhin、Illia。並於2017年發布，為後續GPT系列模型和BERT系列模型奠定了基礎。 GPT模型使用Transfomer的解碼器部分，而BERT模型使用Transfomer的編碼器部分。 Transformer模型的主要核心架構包括：Self-Attention Mechanism、Positional Encoding、Encoder-Decoder Architecture、Multi-Head Attention。
Transformer利用Attention機制，有效解決了之前RNN/LSTM模型難以並行的問題。使用Self-Attention解決了NLP中標記資料有限的問題。輸入文字中的序列資訊透過位置編碼儲存。多頭注意力機制使得 Transformer 能夠學習不同模式的訓練資料，類似於 CNN 模型中的 Channel 概念。