parameters, our \(\mathsf{bioS}(N)\) data utilizes only \(3275\) tokens (after applying GPT2's tokenizer), reducing the effective embedding layer size to \(3275\times(64h)\). This adjustment explains why, for \(\mathsf{bioS}\) data, GPT2small, typically known to have \(124\)M parameters, is counted as having only \(88\)M parameters in this paper.
매개변수, 우리의 \(\mathsf{bioS}(N)\) 데이터는 GPT2의 tokenizer를 적용한 후 \(3275\) tokens만 활용하므로, 실제 embedding layer 크기는 \(3275\times(64h)\)로 줄어듭니다. 이 조정은 일반적으로 \(124\)M parameters를 가진 것으로 알려진 GPT2small이 이 논문에서 \(88\)M parameters만 가진 것으로 계산되는 이유를 설명합니다.
매개변수, 우리의 \(\mathsf{bioS}(N)\) 데이터는 GPT2의 토큰화 도구를 적용한 후 \(3275\) 토큰만 활용하므로, 실제 임베딩 레이어 크기는 \(3275\times(64h)\)로 줄어듭니다. 이 조정은 일반적으로 \(124\)M 파라미터를 가진 것으로 알려진 GPT2small이 이 논문에서 \(88\)M 파라미터만 가진 것으로 계산되는 이유를 설명합니다.