We generally select hyperparameters by optimizing for training throughput on our hardware while minimizing the risk of loss spikes and slow divergence. We ablate choices through our in-loop evaluation setting, given available computational sources (Section 2.4). Table 2 compares our design choices with recent state-of-the-art open language models.
우리는 일반적으로 손실 급증 및 느린 발산의 위험을 최소화하면서 하드웨어에서 훈련 처리량을 최적화하여 hyperparameter를 선택합니다. 우리는 사용 가능한 계산 소스가 주어지면 in-loop 평가 설정을 통해 선택 사항을 삭제합니다(섹션 2.4). 표 2는 최근 최첨단 오픈 소스 언어 모델과 우리의 설계 선택 사항을 비교합니다.
우리는 일반적으로 손실 급증 및 느린 발산의 위험을 최소화하면서 하드웨어에서 훈련 처리량을 최적화하여 하이퍼파라미터를 선택합니다. 우리는 사용 가능한 계산 소스가 주어지면 인루프 평가 설정을 통해 선택 사항을 삭제합니다(섹션 2.4). 표 2는 최근 최첨단 오픈 소스 언어 모델과 우리의 설계 선택 사항을 비교합니다.