Experimental setups.Throughout this section, when presenting positive result (such as for GPT2) we try to stick to one fixed set of learning rate choices; but when presenting a negative result (such as for the LLaMA architecture), we present the best among three learning rate choices.
실험 설정. 이 섹션에서는 긍정적인 결과(예: GPT2)를 제시할 때는 Learning Rate 선택에 대해 하나의 고정된 세트를 고수하려고 노력하지만, 부정적인 결과(예: LLaMA 아키텍처)를 제시할 때는 세 가지 Learning Rate 선택 중에서 가장 좋은 결과를 제시합니다.
실험 설정.이 섹션에서는 긍정적인 결과(예: GPT2)를 제시할 때는 학습 속도 선택에 대해 하나의 고정된 세트를 고수하려고 노력하지만, 부정적인 결과(예: LLaMA 아키텍처)를 제시할 때는 세 가지 학습 속도 선택 중에서 가장 좋은 결과를 제시합니다.