Language models (LMs) have become ubiquitous in both NLP research and in commercial product offerings. As their commercial importance has surged, the most powerful models have become closed off, gated behind proprietary interfaces, with important details of their training data, architectures, and development undisclosed. Given the importance of these details in scientifically studying these models, including their biases and potential risks, we believe it is essential for the research community to have access to powerful, truly open LMs. To this end, this technical report details the first release of OLMo, a state-of-the-art, truly **O**pen **L**anguage **M**odel and its framework to build and study the science of language modeling. Unlike most prior efforts that have only released model weights and inference code, we release OLMo and the whole framework, including training data and training and evaluation code. We hope this release will empower and strengthen the open research community and inspire a new wave of innovation.
언어 모델(LMs)은 NLP 연구와 상업적 제품 제공 모두에서 널리 사용되고 있습니다. 상업적 중요성이 급증함에 따라, 가장 강력한 모델들은 독점 인터페이스 뒤에 감춰져 있으며, 이들의 훈련 데이터, 아키텍처 및 개발에 대한 중요한 세부 사항이 공개되지 않았습니다. 이러한 세부 사항이 모델의 편향성과 잠재적 위험을 과학적으로 연구하는 데 중요하다는 점을 고려할 때, 연구 커뮤니티가 강력하고 진정으로 개방된 LMs에 접근할 수 있는 것이 필수적이라고 믿습니다. 이를 위해, 이 기술 보고서는 최첨단의 진정으로 **O**pen **L**anguage **M**odel인 OLMo의 첫 번째 릴리스와 언어 모델링 과학을 구축하고 연구하기 위한 프레임워크를 자세히 설명합니다. 대부분의 이전 노력들이 모델 가중치와 추론 코드만을 공개한 것과 달리, 우리는 OLMo와 전체 프레임워크, 훈련 데이터, 훈련 및 평가 코드를 모두 공개합니다. 이 릴리스가 개방된 연구 커뮤니티를 강화하고 새로운 혁신의 물결을 일으키기를 바랍니다.
언어 모델(LM)은 NLP 연구와 상용 제품 모두에서 어디에나 존재하게 되었습니다. 상업적 중요성이 급증함에 따라 가장 강력한 모델은 독점적인 인터페이스 뒤에 폐쇄되어 학습 데이터, 아키텍처 및 개발에 대한 중요한 세부 정보가 공개되지 않고 있습니다. 편견과 잠재적 위험을 포함하여 이러한 모델을 과학적으로 연구하는 데 있어 이러한 세부 정보의 중요성을 고려할 때, 연구 커뮤니티가 강력하고 진정으로 개방적인 LM에 액세스할 수 있는 것이 필수적이라고 생각합니다. 이를 위해 이 기술 보고서는 최첨단의 진정한 **O**pen **L**anguage **M**odel인 OLMo의 첫 번째 릴리스와 언어 모델링 과학을 구축하고 연구하기 위한 프레임워크에 대해 자세히 설명합니다. 모델 가중치와 추론 코드만 공개한 대부분의 이전 노력과 달리, 저희는 학습 데이터와 학습 및 평가 코드를 포함한 전체 프레임워크와 함께 OLMo를 공개합니다. 이번 릴리스를 통해 오픈 연구 커뮤니티의 역량을 강화하고 새로운 혁신의 물결을 일으킬 수 있기를 바랍니다.