We group early popular Transformer-based PLMs, based on their neural architectures, into three main categories: encoder-only, decoder-only, and encoder-decoder models. Comprehensive surveys of early PLMs are provided in [43, 28].
초기 인기 있는 Transformer 기반 PLM을 신경 아키텍처에 따라 encoder-only, decoder-only, encoder-decoder 모델의 세 가지 주요 카테고리로 분류합니다. 초기 PLM에 대한 포괄적인 조사는 [43, 28]에서 제공됩니다.
초기 인기 있는 트랜스포머 기반 PLM을 신경 아키텍처에 따라 인코더 전용, 디코더 전용, 인코더-디코더 모델의 세 가지 주요 카테고리로 분류합니다. 초기 PLM에 대한 포괄적인 조사는 [43, 28]에서 제공됩니다.