While the cost of generating high quality data is still relatively high, two important sources of improvement impact this cost analysis. First, if we use the Qwen-1.8B model Bai et al. (2023b) for rephrasing, we are able to get a 3x higher token throughput. As seen in our preliminary results in Fig 5, the model pre-trained on rephrases generated by Qwen model performs comparably to that by the Mistral model. This reduces the cost of generation by 3x. More recent work in speculative decoding (Liu et al., 2023c) and optimized inference (Xia et al., 2024) suggest that we can leverage another 3-5x improvement in the generation cost. Hence, indeed, even at the scale of just 1.3B parameter model training, we can already improve upon the cost of pre-training using just real data.
고품질 데이터를 생성하는 데 드는 비용은 여전히 상대적으로 높지만, 이 비용 분석에 영향을 미치는 두 가지 중요한 개선 사항이 있습니다. 첫째, 문구 바꾸기를 위해 Qwen-1.8B 모델 Bai 등(2023b)을 사용하면 token 처리량이 3배 더 높아질 수 있습니다. 그림 5의 예비 결과에서 볼 수 있듯이, Qwen 모델에 의해 생성된 의역으로 pre-trained된 모델은 Mistral 모델에 의한 의역과 비슷한 성능을 발휘합니다. 이를 통해 generation 비용이 3배 절감됩니다. speculative decoding(Liu et al., 2023c)과 optimized inference(Xia et al., 2024)에 대한 최근 연구에 따르면 generation 비용을 3~5배 더 개선할 수 있다고 합니다. 따라서 실제로 1.3B parameter 모델 훈련 규모에서도 실제 데이터만 사용하여 pre-training 비용을 개선할 수 있습니다.
고품질 데이터를 생성하는 데 드는 비용은 여전히 상대적으로 높지만, 이 비용 분석에 영향을 미치는 두 가지 중요한 개선 사항이 있습니다. 첫째, 문구 바꾸기를 위해 Qwen-1.8B 모델 Bai 등(2023b)을 사용하면 토큰 처리량이 3배 더 높아질 수 있습니다. 그림 5의 예비 결과에서 볼 수 있듯이, Qwen 모델에 의해 생성된 의역으로 사전 학습된 모델은 Mistral 모델에 의한 의역과 비슷한 성능을 발휘합니다. 이를 통해 생성 비용이 3배 절감됩니다. 추측 디코딩(Liu et al., 2023c)과 최적화된 추론(Xia et al., 2024)에 대한 최근 연구에 따르면 생성 비용을 3~5배 더 개선할 수 있다고 합니다. 따라서 실제로 1.3B 파라미터 모델 훈련 규모에서도 실제 데이터만 사용하여 사전 훈련 비용을 개선할 수 있습니다.