These are results for the largest GPT-3 model (175B). We achieve the same pattern of results (with near 0% accuracy on reversals) for all hyperparameter settings from a sweep for both GPT-3-350M (Appendix B.2) and for Llama-7b (Appendix B.4). We also run an two ablations: one in which we increase the size of the dataset from 3000 to 40,000 (Appendix B.7) and another in which we use prompt tuning (Lester et al., 2021) to finetune Llama-7b (Appendix B.8). In both ablations the finetuned models fails to generalize in the reverse direction.
이는 가장 큰 GPT-3 모델(175B)에 대한 결과입니다. GPT-3-350M(부록 B.2)과 Llama-7b(부록 B.4) 모두에 대한 모든 하이퍼파라미터 설정에서 거의 0%의 정확도로 역전이 발생하는 동일한 결과 패턴을 얻었습니다. 또한 데이터 세트의 크기를 3000개에서 40,000개로 늘리는(부록 B.7) ablation과 prompt tuning(Lester et al., 2021)을 사용하여 Llama-7b를 Fine-tuning하는(부록 B.8) ablation을 두 번 실행했습니다. 두 ablation 모두에서 Fine-tuning된 모델은 역방향으로 일반화하지 못했습니다.
이는 가장 큰 GPT-3 모델(175B)에 대한 결과입니다. GPT-3-350M(부록 B.2)과 Llama-7b(부록 B.4) 모두에 대한 모든 하이퍼파라미터 설정에서 거의 0%의 정확도로 역전이 발생하는 동일한 결과 패턴을 얻었습니다. 또한 데이터 세트의 크기를 3000개에서 40,000개로 늘리는(부록 B.7) 압제와 프롬프트 튜닝(Lester et al., 2021)을 사용하여 Llama-7b를 미세 조정하는(부록 B.8) 압제를 두 번 실행했습니다. 두 압제 모두에서 미세 조정된 모델은 역방향으로 일반화하지 못했습니다.