The 1.5B parameter XL models had 24 layers, each with 32 attention heads. The model embedding size was 2,048, the feed forward layers had a hidden size of 5,120, and the key/value dimension size for the attention heads 64. The 110M parameter base models had 12 layers, each with 12 attention heads. The model embedding size was 768, the feed forward layers had a hidden size of 2,048, and the key/value dimension size for the attention heads 64.
1.5B 파라미터 XL 모델에는 24개의 레이어가 있었으며 각 레이어에는 32개의 attention heads가 있었습니다. 모델 embedding 크기는 2,048, feed forward 레이어의 hidden 크기는 5,120, attention heads의 key/value dimension 크기는 64였습니다. 110M 파라미터 base 모델에는 12개의 레이어가 있었으며 각 레이어에는 12개의 attention heads가 있었습니다. 모델 embedding 크기는 768, feed forward 레이어의 hidden 크기는 2,048, attention heads의 key/value dimension 크기는 64였습니다.
1.5B 파라미터 XL 모델에는 24개의 레이어가 있었으며 각 레이어에는 32개의 주의 헤드가 있었습니다. 모델 임베딩 크기는 2,048, 피드 포워드 레이어의 숨겨진 크기는 5,120, 주의 헤드의 키/값 차원 크기는 64였습니다. 110M 파라미터 기본 모델에는 12개의 레이어가 있었으며 각 레이어에는 12개의 주의 헤드가 있었습니다. 모델 임베딩 크기는 768, 피드 포워드 레이어의 숨겨진 크기는 2,048, 주의 헤드의 키/값 차원 크기는 64였습니다.