Despite progress in access to model parameters, pretraining datasets are still not as open. Pretraining data are often not released alongside open models (let alone closed models) and documentation about such data is often lacking in detail that would be needed to reproduce or fully understand the work. This has made it difficult to support certain threads of language model research, such as understanding how training data impacts model capabilities and limitations.
모델 파라미터에 대한 접근성이 향상되었음에도 불구하고 pretraining 데이터 세트는 여전히 공개되지 않았습니다. Pretraining 데이터는 개방형 모델(폐쇄형 모델은 말할 것도 없고)과 함께 공개되지 않는 경우가 많으며, 이러한 데이터에 대한 문서화도 작업을 재현하거나 완전히 이해하는 데 필요한 세부 사항이 부족한 경우가 많습니다. 이로 인해 학습 데이터가 모델의 기능 및 한계에 미치는 영향을 이해하는 것과 같은 특정 언어 모델 연구 분야를 지원하기가 어려웠습니다.
모델 파라미터에 대한 접근성이 향상되었음에도 불구하고 사전 학습 데이터 세트는 여전히 공개되지 않았습니다. 사전 학습 데이터는 개방형 모델(폐쇄형 모델은 말할 것도 없고)과 함께 공개되지 않는 경우가 많으며, 이러한 데이터에 대한 문서화도 작업을 재현하거나 완전히 이해하는 데 필요한 세부 사항이 부족한 경우가 많습니다. 이로 인해 학습 데이터가 모델의 기능 및 한계에 미치는 영향을 이해하는 것과 같은 특정 언어 모델 연구 분야를 지원하기가 어려웠습니다.