The OLMo framework encompasses the tools and resources required for building and researching language models. For training and modeling, it includes full model weights, training code, training logs, ablations, training metrics in the form of Weights & Biases logs, and inference code. This first release includes four variants of our language model at the 7B scale corresponding to different architectures, optimizers, and training hardware, and one model at the 1B scale, all trained on at least 2T tokens. We are also releasing hundreds of intermediate checkpoints available as revisions on HuggingFace. For dataset building and analysis, it includes the full training data used for these models, including code that produces the training data, from AI2's Dolma (Soldaini et al., 2024), and WIMBD (Elazar et al., 2023) for analyzing pretraining data. For evaluation, it includes AI2's Catwalk (Groeneveld et al., 2023) for downstream evaluation and Paloma (Magnusson et al., 2023) for perplexity-based evaluation. For instruction-tuning, we released Open Instruct (Ivison et al., 2023; Wang et al., 2023), and we are currently using it to produce an adapted (instruction-tuned and RLHFed) version of OLMo, which we will release soon.
OLMo 프레임워크에는 언어 모델을 구축하고 연구하는 데 필요한 도구와 리소스가 포함되어 있습니다. 훈련 및 모델링에는 전체 모델 가중치, 훈련 코드, 훈련 로그, 절제, Weights & Biases 로그 형식의 훈련 메트릭, 추론 코드가 포함됩니다. 이 첫 번째 릴리스에는 다양한 아키텍처, optimizers 및 훈련 하드웨어에 해당하는 7B 규모의 언어 모델 4가지 변형과 1B 규모의 모델 1가지가 포함되며, 모두 최소 2T 토큰 이상으로 훈련되었습니다. 또한 HuggingFace에서 수정본으로 사용할 수 있는 수백 개의 중간 체크포인트도 공개할 예정입니다. 데이터 세트 구축 및 분석에는 AI2의 Dolma(Soldaini et al., 2024)에서 생성된 훈련 데이터를 포함한 이러한 모델에 사용된 전체 훈련 데이터, 훈련 데이터를 생성하는 코드, 사전 훈련 데이터 분석을 위한 WIMBD(Elazar et al., 2023)가 포함되어 있습니다. 평가에는 다운스트림 평가를 위한 AI2의 Catwalk(Groeneveld et al., 2023)과 Perplexity 기반 평가를 위한 Paloma(Magnusson et al., 2023)가 포함되어 있습니다. Instruction Tuning을 위해 Open Instruct(Ivison et al., 2023; Wang et al., 2023)을 공개했으며, 현재 이를 사용하여 OLMo의 조정된(Instruction Tuning 및 RLHF) 버전을 제작 중이며, 곧 공개할 예정입니다.
OLMo 프레임워크에는 언어 모델을 구축하고 연구하는 데 필요한 도구와 리소스가 포함되어 있습니다. 훈련 및 모델링에는 전체 모델 가중치, 훈련 코드, 훈련 로그, 절제, 웨이트 & 바이즈 로그 형식의 훈련 메트릭, 추론 코드가 포함됩니다. 이 첫 번째 릴리스에는 다양한 아키텍처, 최적화 도구 및 훈련 하드웨어에 해당하는 7B 규모의 언어 모델 4가지 변형과 1B 규모의 모델 1가지가 포함되며, 모두 최소 2T 토큰 이상으로 훈련되었습니다. 또한 HuggingFace에서 수정본으로 사용할 수 있는 수백 개의 중간 체크포인트도 공개할 예정입니다. 데이터 세트 구축 및 분석에는 AI2의 Dolma(Soldaini et al., 2024)에서 생성된 훈련 데이터를 포함한 이러한 모델에 사용된 전체 훈련 데이터, 훈련 데이터를 생성하는 코드, 사전 훈련 데이터 분석을 위한 WIMBD(Elazar et al., 2023)가 포함되어 있습니다. 평가에는 다운스트림 평가를 위한 AI2의 Catwalk(Groeneveld et al., 2023)과 난해도 기반 평가를 위한 Paloma(Magnusson et al., 2023)가 포함되어 있습니다. 명령어 튜닝을 위해 Open Instruct(Ivison et al., 2023; Wang et al., 2023)을 공개했으며, 현재 이를 사용하여 OLMo의 조정된(명령어 튜닝 및 RLHF) 버전을 제작 중이며, 곧 공개할 예정입니다.