To handle the issues of only local relations captured by CNN/RNN/GNN models, the Transformer [13] proposed in the year 2017 learns the long-range feature representations well. The core operation is the self-attention mechanism which transforms the input tokens into query, key, and value features, and outputs the long-range features by multiplying the similarity matrix (obtained via product between the query and key features) with the value features. The Transformer architecture first swept the NLP community with the help of _pre-training and fine-tuning_ paradigm [14], such as BERT [15], ERNIE [16], BART [17], GPT [18]. Then, other communities are also boosted with such networks, for example, the ViT [19] and Swin-Transformer [20] released in computer vision. Many researchers also exploit the hybrid network architectures by combining Transformer and other networks, or adapting the Transformer for multi-modal research problems [21, 22]. In the current stage, large foundation models are emerging, and Parameter-Efficient Fine-Tuning (PEFT) strategies [23] also have been greatly developed. However, the current Transformer-based models still require high-end graphics cards with larger memory for training and testing/deployment, which greatly limits their wider application.
CNN/RNN/GNN 모델에서 캡처한 로컬 관계만 처리하는 문제를 해결하기 위해 2017년에 제안된 Transformer[13]는 원거리 특징 표현을 잘 학습합니다. 핵심 연산은 self-attention 메커니즘으로, 입력 토큰을 query, key, value 특징으로 변환하고, query 특징과 key 특징의 곱을 통해 얻은 유사도 행렬을 value 특징과 곱하여 원거리 특징을 출력합니다. Transformer 아키텍처는 BERT [15], ERNIE [16], BART [17], GPT [18]와 같은 _pre-training 및 Fine-tuning_ 패러다임 [14]의 도움으로 먼저 NLP 커뮤니티를 휩쓸었습니다. 그 후 컴퓨터 비전에서 공개된 ViT [19] 및 Swin-Transformer [20]와 같은 네트워크로 다른 커뮤니티도 활성화되었습니다. 많은 연구자들은 Transformer와 다른 네트워크를 결합하거나 멀티모달 연구 문제에 맞게 Transformer를 적용하여 하이브리드 네트워크 아키텍처를 활용하고 있습니다[21, 22]. 현재 단계에서는 대규모 기반 모델이 등장하고 있으며, Parameter-Efficient Fine-Tuning (PEFT) 전략[23]도 크게 발전했습니다. 그러나 현재 Transformer 기반 모델은 여전히 훈련 및 테스트/배포를 위해 더 큰 메모리를 가진 하이엔드 그래픽 카드가 필요하기 때문에 더 폭넓게 적용되는 데 큰 제한이 있습니다.
CNN/RNN/GNN 모델에서 캡처한 로컬 관계만 처리하는 문제를 해결하기 위해 2017년에 제안된 트랜스포머[13]는 원거리 특징 표현을 잘 학습합니다. 핵심 연산은 자기 주의 메커니즘으로, 입력 토큰을 쿼리, 키, 값 특징으로 변환하고, 쿼리 특징과 키 특징의 곱을 통해 얻은 유사도 행렬을 값 특징과 곱하여 원거리 특징을 출력합니다. 트랜스포머 아키텍처는 BERT [15], ERNIE [16], BART [17], GPT [18]와 같은 _사전 학습 및 미세 조정_ 패러다임 [14]의 도움으로 먼저 NLP 커뮤니티를 휩쓸었습니다. 그 후 컴퓨터 비전에서 공개된 ViT [19] 및 Swin-Transformer [20]와 같은 네트워크로 다른 커뮤니티도 활성화되었습니다. 많은 연구자들은 트랜스포머와 다른 네트워크를 결합하거나 멀티모달 연구 문제에 맞게 트랜스포머를 적용하여 하이브리드 네트워크 아키텍처를 활용하고 있습니다[21, 22]. 현재 단계에서는 대규모 기반 모델이 등장하고 있으며, 매개변수 효율적인 미세 조정(PEFT) 전략[23]도 크게 발전했습니다. 그러나 현재 트랜스포머 기반 모델은 여전히 훈련 및 테스트/배포를 위해 더 큰 메모리를 가진 하이엔드 그래픽 카드가 필요하기 때문에 더 폭넓게 적용되는 데 큰 제한이 있습니다.