In Section 4.1, we find that by training a 6.7B parameter model on data selected by D4, we reach the final perplexity of a baseline model using 20% fewer model updates. In our particular setup, this translates to **saving approximately 4300 GPU hours** - we will refer to this as the _naive_ efficiency gain as it does not account for the the cost of computing the selection metric.
섹션 4.1에서 D4에 의해 선택된 데이터에 대해 6.7B 파라미터 모델을 학습함으로써 20% 더 적은 모델 업데이트를 사용하는 baseline 모델의 최종 perplexity에 도달한다는 것을 알 수 있습니다. 특정 설정에서 이는 약 4300시간의 GPU 시간 절약으로 해석되며, 이를 선택 메트릭 계산 비용을 고려하지 않은 _naive_ 효율성 이득이라고 지칭합니다.
섹션 4.1에서 D4에 의해 선택된 데이터에 대해 6.7B 파라미터 모델을 학습함으로써 20% 더 적은 모델 업데이트를 사용하는 기준 모델의 최종 난해도에 도달한다는 것을 알 수 있습니다. 특정 설정에서 이는 약 4300시간의 GPU 시간 절약으로 해석되며, 이를 선택 메트릭 계산 비용을 고려하지 않은 _네이티브_ 효율성 이득이라고 지칭합니다.