To demonstrate our method's practicality, we must ensure the cost of selecting data is significantly less than this. As described in Section 3.4, selecting data via D4 involves: first, embedding documents via a 125M OPT model; second, computing K-Means indices + distance to indices. The first step is completed on a single machine with 96 CPU cores in approximately one day. Given the two orders of magnitude difference between the prices of CPU and GPU cores 1, we consider this cost negligible. For the second step, embedding 400B tokens with a 125M parameter model takes approximately 888 GPU hours, using the same A100 GPUs. Subtracting this from the _naive_ efficiency gain of 4300 GPU hours, we arrive at an _overall_ efficiency gain of 3412 GPU hours. This is how much compute D4 saved us in practice when training our single 6.7B parameter model. In Fig.
이 방법의 실용성을 입증하기 위해서는 데이터를 선택하는 데 드는 비용이 이보다 훨씬 적게 드는지 확인해야 합니다. 섹션 3.4에서 설명한 바와 같이, D4를 통해 데이터를 선택하려면 먼저 125M OPT 모델을 통해 문서를 embedding하고, 두 번째로 K-Means 인덱스 + 인덱스까지의 거리를 계산해야 합니다. 첫 번째 단계는 약 1일 동안 96개의 CPU 코어를 갖춘 단일 머신에서 완료됩니다. CPU 코어와 GPU 코어 1의 가격 사이에는 두 배의 차이가 있으므로 이 비용은 무시할 수 있는 수준입니다. 두 번째 단계에서는 125M 파라미터 모델로 400B 토큰을 embedding하는 데 약 888시간의 GPU가 소요되며, 동일한 A100 GPU를 사용합니다. 이를 4300시간의 _naive_ 효율성 향상에서 빼면 3412시간의 _overall_ 효율성 향상이 나옵니다. 이는 단일 6.7B 파라미터 모델을 훈련할 때 D4가 실제로 얼마나 많은 컴퓨팅을 절약했는지를 보여줍니다. 그림
이 방법의 실용성을 입증하기 위해서는 데이터를 선택하는 데 드는 비용이 이보다 훨씬 적게 드는지 확인해야 합니다. 섹션 3.4에서 설명한 바와 같이, D4를 통해 데이터를 선택하려면 먼저 125M OPT 모델을 통해 문서를 임베딩하고, 두 번째로 K-Means 인덱스 + 인덱스까지의 거리를 계산해야 합니다. 첫 번째 단계는 약 1일 동안 96개의 CPU 코어를 갖춘 단일 머신에서 완료됩니다. CPU 코어와 GPU 코어 1의 가격 사이에는 두 배의 차이가 있으므로 이 비용은 무시할 수 있는 수준입니다. 두 번째 단계에서는 125M 파라미터 모델로 400B 토큰을 임베딩하는 데 약 888시간의 GPU가 소요되며, 동일한 A100 GPU를 사용합니다. 이를 4300시간의 _느낌_ 효율성 향상에서 빼면 3412시간의 _전체_ 효율성 향상이 나옵니다. 이는 단일 6.7B 파라미터 모델을 훈련할 때 D4가 실제로 얼마나 많은 컴퓨팅을 절약했는지를 보여줍니다. 그림