Human: 트랜스포머는 입력 데이터의 각 부분의 중요도에 차등적으로 가중치를 부여하는 자기 주의 메커니즘을 채택한 딥러닝 모델입니다. 주로 자연어 처리(NLP) 및 컴퓨터 비전(CV) 분야에서 사용됩니다.

순환 신경망(RNN)과 마찬가지로 트랜스포머는 자연어와 같은 순차적 입력 데이터를 처리하도록 설계되어 번역 및 텍스트 요약과 같은 작업에 적용됩니다. 하지만 RNN과 달리 트랜스포머는 전체 입력을 한 번에 처리합니다. 주의 메커니즘은 입력 시퀀스의 모든 위치에 대한 컨텍스트를 제공합니다. 예를 들어 입력 데이터가 자연어 문장인 경우, 트랜스포머는 한 번에 한 단어씩 처리할 필요가 없습니다. 따라서 RNN보다 더 많은 병렬화가 가능하므로 학습 시간이 단축됩니다.

트랜스포머는 2017년 구글 브레인 팀에 의해 도입되었으며, 점점 더 많은 자연어 처리 문제에 선택되는 모델로 자리 잡으며 LSTM(장단기 기억)과 같은 RNN 모델을 대체하고 있습니다. 추가적인 훈련 병렬화를 통해 더 큰 데이터 세트에 대한 훈련이 가능합니다. 그 결과, Wikipedia 코퍼스 및 Common Crawl과 같은 대규모 언어 데이터 세트로 학습되고 특정 작업에 맞게 미세 조정할 수 있는 BERT(양방향 인코더 표현으로부터의 트랜스포머) 및 GPT(생성형 사전 학습 트랜스포머)와 같은 사전 학습 시스템이 개발되었습니다. 
"주의력만 있으면 된다"라는 논문에서 트랜스포머 모델을 처음 제안했고, 이는 이후 LLM에 큰 영향을 미쳤습니다. 이 논문에서 설명한 트랜스포머의 주요 핵심 아이디어를 설명해 주세요. 

Assistant: 이 논문은 Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia가 작성했으며 2017년에 출판되었습니다. 이 책은 후속 GPT 시리즈 모델과 BERT 시리즈 모델의 토대를 마련했습니다. GPT 모델은 트랜스포머의 디코더 부분을 사용하고, BERT 모델은 트랜스포머의 인코더 부분을 사용합니다. 트랜스포머 모델의 주요 핵심 아키텍처는 다음과 같습니다: 셀프 어텐션 메커니즘, 위치 인코딩, 인코더-디코더 아키텍처, 멀티 헤드 어텐션.
트랜스포머는 주의 메커니즘을 사용하여 기존 RNN/LSTM 모델의 어려운 병렬 문제를 효과적으로 해결합니다. 셀프 어텐션(Self-Attention)을 사용하면 NLP의 제한된 레이블 데이터 문제를 해결할 수 있습니다. 입력 텍스트의 시퀀스 정보는 위치 인코딩을 통해 보존됩니다. 또한 다중 헤드 어텐션(Multi-Head Attention)을 통해 Transformer는 CNN 모델의 채널 개념과 유사한 다양한 패턴의 훈련 데이터를 학습할 수 있습니다.</s>