To analyze this cost trade-off, we compare the cost of generating synthetic data, versus that of training a language model on extra data. For our synthetic data generation experiments, we use the vLLM (Kwon et al., 2023) library for fast generation. In particular, we are able to generate 3M tokens per hour on a single A100 when using the Mistral-7B. Generating 85B tokens (as in our work) accounts for about 25K GPU hours.
이러한 비용 절충을 분석하기 위해 합성 데이터 생성 비용과 추가 데이터에 대한 언어 모델 학습 비용을 비교합니다. 합성 데이터 생성 실험의 경우, 빠른 생성을 위해 vLLM(Kwon et al., 2023) 라이브러리를 사용합니다. 특히, Mistral-7B를 사용할 때 단일 A100에서 시간당 3M tokens을 생성할 수 있습니다. (이 작업에서와 같이) 85B tokens을 생성하는 데는 약 25,000시간의 GPU가 소요됩니다.
이러한 비용 절충을 분석하기 위해 합성 데이터 생성 비용과 추가 데이터에 대한 언어 모델 학습 비용을 비교합니다. 합성 데이터 생성 실험의 경우, 빠른 생성을 위해 vLLM(Kwon et al., 2023) 라이브러리를 사용합니다. 특히, Mistral-7B를 사용할 때 단일 A100에서 시간당 3M 토큰을 생성할 수 있습니다. (이 작업에서와 같이) 850억 토큰을 생성하는 데는 약 25,000시간의 GPU가 소요됩니다.