in a ground-breaking work [44], Vaswani et al. proposed the Transformer framework, which was originally designed for effective parallel computing using GPUs. The heart of Transformer is the (self-)attention mechanism, which can capture long-term contextual information much more effectively using GPUs than the recurrence and convolution mechanisms. Fig 26 provides a high-level overview of transformer work. In this section we provide an overview of the main elements and variants, see [44, 123] for more details.
획기적인 연구[44]에서 Vaswani 등은 원래 GPU를 사용한 효과적인 병렬 컴퓨팅을 위해 설계된 Transformer 프레임워크를 제안했습니다. Transformer의 핵심은 (self-)attention 메커니즘으로, recurrence 및 convolution 메커니즘보다 GPU를 사용하여 훨씬 더 효과적으로 장기적인 컨텍스트 정보를 캡처할 수 있습니다. 그림 26은 Transformer 작업에 대한 개괄적인 개요를 제공합니다. 이 섹션에서는 주요 요소와 변형에 대한 개요를 제공하며, 자세한 내용은 [44, 123]을 참조하세요.
획기적인 연구[44]에서 Vaswani 등은 원래 GPU를 사용한 효과적인 병렬 컴퓨팅을 위해 설계된 Transformer 프레임워크를 제안했습니다. 트랜스포머의 핵심은 (자체) 주의 메커니즘으로, 반복 및 컨볼루션 메커니즘보다 GPU를 사용하여 훨씬 더 효과적으로 장기적인 컨텍스트 정보를 캡처할 수 있습니다. 그림 26은 트랜스포머 작업에 대한 개괄적인 개요를 제공합니다. 이 섹션에서는 주요 요소와 변형에 대한 개요를 제공하며, 자세한 내용은 [44, 123]을 참조하세요.