Given the huge cost of model pre-training, well-trained model checkpoints are critical to the study and development of LLMs for the research community. Since the parameter scale is a key factor to consider for using LLMs, we categorize these public models into two scale levels (_i.e., tens of billions of parameters_ and _hundreds of billions of parameters_), which is useful for users to identify the suitable resources according to their resource budget. In addition, for inference, we can directly employ public APIs to perform our tasks, without running the model locally. Next, we introduce the publicly available model checkpoints and APIs.
모델 사전 훈련의 막대한 비용을 고려할 때, 잘 훈련된 모델 체크포인트는 연구 커뮤니티에서 LLMs의 연구 및 개발에 매우 중요합니다. LLMs를 사용할 때 고려해야 할 주요 요소는 파라미터 규모이기 때문에, 우리는 이러한 공개 모델들을 두 가지 규모 수준(즉, 수백억 개의 파라미터와 수천억 개의 파라미터)으로 분류합니다. 이는 사용자가 자신의 자원 예산에 따라 적절한 자원을 식별하는 데 유용합니다. 또한, 추론을 위해 우리는 모델을 로컬에서 실행하지 않고도 공개 API를 직접 사용하여 작업을 수행할 수 있습니다. 다음으로, 공개적으로 이용 가능한 모델 체크포인트와 API를 소개합니다.
모델 사전 학습에 막대한 비용이 소요되기 때문에, 잘 훈련된 모델 체크포인트는 연구 커뮤니티의 LLM 연구 및 개발에 매우 중요합니다. 파라미터 규모는 LLM 사용 시 고려해야 할 핵심 요소이므로, 이러한 공개 모델을 두 가지 규모 수준(_즉, 수십억 개의 파라미터와 수백억 개의 파라미터_)으로 분류하여 사용자가 리소스 예산에 따라 적합한 리소스를 식별하는 데 유용합니다. 또한 추론의 경우, 로컬에서 모델을 실행하지 않고도 공개된 API를 직접 사용하여 작업을 수행할 수 있습니다. 다음에서는 공개적으로 사용 가능한 모델 체크포인트와 API를 소개합니다.