In Kaplan et al. (2020), OpenAI studies the relationship between the loss function and the number of tokens. In their experiments, they assume that consuming more steps is equivalent to consuming more time. Under this assumption, OpenAI defines a critical batch size that achieves a certain loss without consuming too many steps or tokens. This rationale is valid if the experiments are provided with unlimited GPUs (at least with in the scope of the experiments). Since GPUs are unlimited, enlarging batch size will not increase the single step duration but will decrease the total number of steps. However, in our experiment, since we have fixed resource (number of GPUs), we observe that doubling the batch size almost equals doubling the single-step time. Therefore, enlarging batch size to decrease total training steps has minimal effect on the total training time. In light of this observation, we drop the goal of "not consuming too many steps" and turn towards minimizing the token quantity to achieve the lowest loss, instead.
Kaplan 등(2020)에서 OpenAI는 Loss 함수와 토큰 수 사이의 관계를 연구합니다. 이 실험에서 OpenAI는 더 많은 단계를 소비하는 것이 더 많은 시간을 소비하는 것과 같다고 가정합니다. 이 가정 하에 OpenAI는 너무 많은 단계나 토큰을 소비하지 않고 특정 Loss를 달성하는 임계 Batch Size를 정의합니다. 이 근거는 실험에 무제한 GPU(적어도 실험 범위 내에서)가 제공되는 경우 유효합니다. GPU가 무제한이므로 Batch Size를 늘리면 단일 단계 시간이 늘어나지 않고 총 단계 수가 줄어듭니다. 그러나 우리의 실험에서는 리소스(GPU 수)가 고정되어 있기 때문에 Batch Size를 두 배로 늘리면 단일 단계 시간이 두 배로 늘어나는 것을 관찰할 수 있습니다. 따라서 총 훈련 단계를 줄이기 위해 Batch Size를 늘리는 것은 총 훈련 시간에 미치는 영향이 미미합니다. 이러한 관찰에 비추어 볼 때, '너무 많은 단계를 소비하지 않기'라는 목표를 포기하고 대신 최소 Loss를 달성하기 위해 토큰 수를 최소화하는 방향으로 전환했습니다.
Kaplan 등(2020)에서 OpenAI는 손실 함수와 토큰 수 사이의 관계를 연구합니다. 이 실험에서 OpenAI는 더 많은 단계를 소비하는 것이 더 많은 시간을 소비하는 것과 같다고 가정합니다. 이 가정 하에 OpenAI는 너무 많은 단계나 토큰을 소비하지 않고 특정 손실을 달성하는 임계 배치 크기를 정의합니다. 이 근거는 실험에 무제한 GPU(적어도 실험 범위 내에서)가 제공되는 경우 유효합니다. GPU가 무제한이므로 배치 크기를 늘리면 단일 단계 시간이 늘어나지 않고 총 단계 수가 줄어듭니다. 그러나 우리의 실험에서는 리소스(GPU 수)가 고정되어 있기 때문에 배치 크기를 두 배로 늘리면 단일 단계 시간이 두 배로 늘어나는 것을 관찰할 수 있습니다. 따라서 총 훈련 단계를 줄이기 위해 배치 크기를 늘리는 것은 총 훈련 시간에 미치는 영향이 미미합니다. 이러한 관찰에 비추어 볼 때, '너무 많은 단계를 소비하지 않기'라는 목표를 포기하고 대신 최소 손실을 달성하기 위해 토큰 수를 최소화하는 방향으로 전환했습니다.