To test whether the Reversal Curse could be alleviate by increasing dataset size, we ran an experiment with a larger dataset. Whereas the original dataset has 30 examples per subset and 30 paraphrases per example, this larger dataset has 100 examples per subset and 100 paraphrases per example, for a total of \(100\cdot 100\cdot 4=40,000\) documents. We train GPT-3-350M for 10 epochs using a learning rate multiplier of 0.1 and a batch size of 8. As before we do not mask loss on prompt tokens. Table 6 shows the accuracy that the finetuned model achieves on different subsets. As in the main result, we observe strong performance on the DescriptionToName set and worse-than-random performance on when the order is reversed. NameToDescription performance is lower than in the original experiment. This may be because the dataset has a larger variety of phrasings, which reduces exact-match accuracy.
데이터 세트 크기를 늘리면 Reversal Curse를 완화할 수 있는지 테스트하기 위해 더 큰 데이터 세트로 실험을 진행했습니다. 원래 데이터 세트는 하위 집합당 30개의 예제와 예제당 30개의 의역이 있는 반면, 이 더 큰 데이터 세트는 하위 집합당 100개의 예제와 예제당 100개의 의역이 있어 총 \(100\cdot 100\cdot 4=40,000\) 문서가 됩니다. Learning Rate 배수 0.1과 Batch Size 8을 사용하여 10회에 걸쳐 GPT-3-350M을 훈련합니다. 이전과 마찬가지로 프롬프트 토큰에 대한 Loss를 마스킹하지 않습니다. 표 6은 Fine-tuned 모델이 다양한 하위 집합에서 달성하는 정확도를 보여줍니다. 주요 결과에서와 같이, DescriptionToName 세트에서 강력한 성능을 관찰할 수 있었고 순서가 뒤바뀔 때는 무작위보다 나쁜 성능을 보였습니다. NameToDescription 성능은 원래 실험보다 낮습니다. 이는 데이터 세트에 더 다양한 문구가 있어 정확도가 떨어졌기 때문일 수 있습니다.
데이터 세트 크기를 늘리면 반전 저주를 완화할 수 있는지 테스트하기 위해 더 큰 데이터 세트로 실험을 진행했습니다. 원래 데이터 세트는 하위 집합당 30개의 예제와 예제당 30개의 의역이 있는 반면, 이 더 큰 데이터 세트는 하위 집합당 100개의 예제와 예제당 100개의 의역이 있어 총 \(100\cdot 100\cdot 4=40,000\) 문서가 됩니다. 학습 속도 배수 0.1과 배치 크기 8을 사용하여 10회에 걸쳐 GPT-3-350M을 훈련합니다. 이전과 마찬가지로 프롬프트 토큰에 대한 손실을 마스킹하지 않습니다. 표 6은 미세 조정된 모델이 다양한 하위 집합에서 달성하는 정확도를 보여줍니다. 주요 결과에서와 같이, 설명에서 이름으로 설정한 경우 강력한 성능을 관찰할 수 있었고 순서가 뒤바뀔 때는 무작위보다 나쁜 성능을 보였습니다. 이름 설명 성능은 원래 실험보다 낮습니다. 이는 데이터 세트에 더 다양한 문구가 있어 정확도가 떨어졌기 때문일 수 있습니다.