**Pythia:** In [95], Biderman et al. introduced Pythia, a suite of 16 LLMs all trained on public data seen in the exact same order and ranging in size from 70M to 12B parameters. We provide public access to 154 checkpoints for each one of the 16 models, alongside tools to download and reconstruct their exact training dataloaders for further study.
**Pythia:** [95]에서 Biderman 등은 공개 데이터에 대해 모두 동일한 순서로 학습되고 매개변수 크기가 70M에서 12B에 이르는 16개의 LLM 모음인 Pythia를 소개했습니다. 저희는 16개 모델 각각에 대해 154개의 체크포인트에 대한 공개 액세스를 제공하고, 추가 연구를 위해 정확한 training dataloaders를 다운로드하고 재구성할 수 있는 도구를 제공합니다.
**Pythia:** [95]에서 Biderman 등은 공개 데이터에 대해 모두 동일한 순서로 학습되고 매개변수 크기가 7,000만 개에서 120억 개에 이르는 16개의 LLM 모음인 Pythia를 소개했습니다. 저희는 16개 모델 각각에 대해 154개의 체크포인트에 대한 공개 액세스를 제공하고, 추가 연구를 위해 정확한 학습 데이터 로더를 다운로드하고 재구성할 수 있는 도구를 제공합니다.