Recent LM releases have varied in their degree of openness. For example, Mistral 8x7B provided model weights and a brief report (Jiang et al., 2024), while LLaMA came with in-depth adaptation training instructions (Touvron et al., 2023), and Mosaic Pretrained Transformer came with many details, including the dataset distribution, though not the data itself (MosaicML NLP Team, 2023). Falcon's pretraining data was partially released (Almazrouei et al., 2023), and the most open models--the Pythia suite (Biderman et al., 2023) and BLOOM (BigScience et al., 2022)--released training code, model checkpoints, training data and more.
최근 LM 릴리스는 개방 수준이 다양합니다. 예를 들어, Mistral 8x7B는 모델 가중치와 간략한 보고서(Jiang et al., 2024)를 제공한 반면, LLaMA는 심층 적응 훈련 Instruction(Touvron et al., 2023)을, Mosaic Pretrained Transformer는 데이터 자체는 아니지만 데이터 세트 분포 등 많은 세부 정보를 제공했습니다(MosaicML NLP 팀, 2023). Falcon의 pretraining 데이터는 부분적으로 공개되었으며(Almazrouei et al., 2023), 가장 개방적인 모델인 Pythia 제품군(Biderman et al., 2023)과 BLOOM(BigScience et al., 2022)은 training 코드, 모델 체크포인트, training 데이터 등을 공개했습니다.
최근 LM 릴리스는 개방 수준이 다양합니다. 예를 들어, Mistral 8x7B는 모델 가중치와 간략한 보고서(Jiang et al., 2024)를 제공한 반면, LLaMA는 심층 적응 훈련 지침(Touvron et al., 2023)을, 모자이크 사전 학습 트랜스포머는 데이터 자체는 아니지만 데이터 세트 분포 등 많은 세부 정보를 제공했습니다(MosaicML NLP 팀, 2023). Falcon의 사전 학습 데이터는 부분적으로 공개되었으며(Almazrouei et al., 2023), 가장 개방적인 모델인 Pythia 제품군(Biderman et al., 2023)과 BLOOM(BigScience et al., 2022)은 학습 코드, 모델 체크포인트, 학습 데이터 등을 공개했습니다.