Since the launch of Transformer [22], various improvements have been proposed to enhance its training stability, performance, and computational efficiency. In this part, we will discuss the corresponding configurations for four major parts of the Transformer, including normalization, position embeddings, activation functions, and attention and bias. To make this survey more self-contained, we present the detailed formulations for these configurations in Table VI.
트랜스포머 [22]가 출시된 이후, 그 훈련 안정성, 성능 및 계산 효율성을 향상시키기 위해 다양한 개선 사항이 제안되었습니다. 이 부분에서는 normalization, position embeddings, activation functions, attention 및 bias를 포함한 Transformer의 네 가지 주요 부분에 대한 해당 구성에 대해 설명합니다. 이 설문조사를 보다 자체적으로 작성하기 위해 이러한 구성에 대한 자세한 공식을 표 VI에 제시합니다.
트랜스포머 [22]가 출시된 이후, 그 훈련 안정성, 성능 및 계산 효율성을 향상시키기 위해 다양한 개선 사항이 제안되었습니다. 이 부분에서는 정규화, 위치 임베딩, 활성화 함수, 주의 및 바이어스를 포함한 트랜스포머의 네 가지 주요 부분에 대한 해당 구성에 대해 설명합니다. 이 설문조사를 보다 자체적으로 작성하기 위해 이러한 구성에 대한 자세한 공식을 표 VI에 제시합니다.