Unless noted otherwise, we use a \(\beta=0.1\), batch size of 64 and the RMSprop optimizer with a learning rate of 1e-6 by default. We linearly warmup the learning rate from 0 to 1e-6 over 150 steps. For TL;DR summarization, we use \(\beta=0.5\), while rest of the parameters remain the same.
달리 명시되지 않는 한, 기본적으로 \(\beta=0.1\), Batch Size 64, Learning Rate 1e-6의 RMSprop Optimizer를 사용합니다. 150단계에 걸쳐 Learning Rate를 0에서 1e-6까지 선형적으로 워밍업합니다. TL;DR 요약의 경우 \(\beta=0.5\)를 사용하고 나머지 매개변수는 동일하게 유지합니다.
달리 명시되지 않는 한, 기본적으로 \(\베타=0.1\), 배치 크기 64, 학습 속도 1e-6의 RMSprop 옵티마이저를 사용합니다. 150단계에 걸쳐 학습 속도를 0에서 1e-6까지 선형적으로 워밍업합니다. TL;DR 요약의 경우 \(\베타=0.5\)를 사용하고 나머지 매개변수는 동일하게 유지합니다.