This technical report presents our first release of OLMo, a state-of-the-art, truly open language model and its framework to build and study the science of language modeling. Unlike most prior efforts that have only released model weights and inference code, we release OLMo and the whole framework, including training data and training and evaluation code. Soon, we will also release training logs, ablations, findings and Weights & Biases logs. We are also exploring the adaptation of OLMo with instruction tuning and different flavors of RLHF. We are going to release the adapted models as well as all of our model adaptation code and data.
이 기술 보고서는 최첨단의 진정한 오픈 언어 모델인 OLMo의 첫 번째 릴리스와 언어 모델링 과학을 구축하고 연구하기 위한 프레임워크를 소개합니다. 모델 가중치와 추론 코드만 공개한 대부분의 이전 노력과 달리, 우리는 학습 데이터와 학습 및 평가 코드를 포함한 전체 프레임워크와 함께 OLMo를 공개합니다. 곧 학습 로그, 절제, 결과 및 Weights & Biases 로그도 공개할 예정입니다. 또한 Instruction Tuning 및 다양한 맛의 RLHF를 통해 OLMo를 적용하는 방안도 모색하고 있습니다. 적응된 모델뿐만 아니라 모든 모델 적응 코드와 데이터도 공개할 예정입니다.
이 기술 보고서는 최첨단의 진정한 오픈 언어 모델인 OLMo의 첫 번째 릴리스와 언어 모델링 과학을 구축하고 연구하기 위한 프레임워크를 소개합니다. 모델 가중치와 추론 코드만 공개한 대부분의 이전 노력과 달리, 우리는 학습 데이터와 학습 및 평가 코드를 포함한 전체 프레임워크와 함께 OLMo를 공개합니다. 곧 학습 로그, 절제, 결과 및 가중치 및 바이어스 로그도 공개할 예정입니다. 또한 지침 튜닝 및 다양한 맛의 RLHF를 통해 OLMo를 적용하는 방안도 모색하고 있습니다. 적응된 모델뿐만 아니라 모든 모델 적응 코드와 데이터도 공개할 예정입니다.