In these experiments, all models have four layers, 512 dimensions and 8 attention heads. We consider two architectures: an encoder-only model (17.2M parameters), and an encoder-decoder model (38.7M parameters). The encoder-only model has \(2.25\) times less parameters, trains twice as fast, and incurs no performance penalty.
이 실험에서 모든 모델은 4개의 레이어, 512차원, 8개의 attention heads를 가지고 있습니다. Encoder-only 모델(17.2M parameters)과 Encoder-Decoder 모델(38.7M parameters)의 두 가지 아키텍처를 고려합니다. Encoder-only 모델은 parameters가 2.25배 적고, 훈련 속도가 2배 빠르며, 성능 저하도 없습니다.
이 실험에서 모든 모델은 4개의 레이어, 512차원, 8개의 주의 헤드를 가지고 있습니다. 인코더 전용 모델(파라미터 1,720만 개)과 인코더-디코더 모델(파라미터 3,870만 개)의 두 가지 아키텍처를 고려합니다. 인코더 전용 모델은 파라미터가 2.25배 적고, 훈련 속도가 2배 빠르며, 성능 저하도 없습니다.