Reversal Curse & MitigationsThe reversal curse was identified by the concurrent works Berglund et al. (2023); Allen-Zhu & Li (2023); its name was derived from the former. They demonstrated that the reversal curse occurs across model sizes and families, including very large models such as GPT-3.5 and GPT-4. They found that including auxiliary examples with both orders present in the finetuning or pre-training datasets (to promote meta-learning) does not aid generalization to examples where only one order is given, even if such data is rewritten in a question-answer format. Furthermore, including multiple paraphrases of each fact in a single direction does not facilitate learning in the reverse direction, despite aiding the given direction, as shown by Berglund et al. (2023); Allen-Zhu & Li (2023).
반전 저주 및 완화반전 저주는 Berglund 등(2023); Allen-Zhu & Li(2023)의 동시 작업에서 확인되었으며, 그 이름은 전자에서 유래했습니다. 이들은 반전 저주가 GPT-3.5 및 GPT-4와 같은 매우 큰 모델을 포함한 모델 크기와 제품군에 걸쳐 발생한다는 것을 입증했습니다. 이들은 Fine-tuning 또는 사전 학습 데이터 세트에 두 가지 순서가 모두 포함된 보조 예제를 포함시켜 메타 학습을 촉진하더라도 한 가지 순서만 주어진 예제에 대한 일반화에 도움이 되지 않는다는 사실을 발견했습니다(이러한 데이터를 질문-답변 형식으로 다시 작성하더라도 그렇습니다). 또한, Berglund 등(2023); Allen-Zhu & Li(2023)의 연구에서와 같이, 한 방향으로 각 사실의 여러 의역을 포함시키는 것은 주어진 방향에 도움이 되더라도 반대 방향의 학습을 촉진하지 않습니다.
반전 저주 및 완화반전 저주는 Berglund 등(2023); Allen-Zhu & Li(2023)의 동시 작업에서 확인되었으며, 그 이름은 전자에서 유래했습니다. 이들은 반전 저주가 GPT-3.5 및 GPT-4와 같은 매우 큰 모델을 포함한 모델 크기와 제품군에 걸쳐 발생한다는 것을 입증했습니다. 이들은 미세 조정 또는 사전 학습 데이터 세트에 두 가지 순서가 모두 포함된 보조 예제를 포함시켜 메타 학습을 촉진하더라도 한 가지 순서만 주어진 예제에 대한 일반화에 도움이 되지 않는다는 사실을 발견했습니다(이러한 데이터를 질문-답변 형식으로 다시 작성하더라도 그렇습니다). 또한, Berglund 등(2023); Allen-Zhu & Li(2023)의 연구에서와 같이, 한 방향으로 각 사실의 여러 의역을 포함시키는 것은 주어진 방향에 도움이 되더라도 반대 방향의 학습을 촉진하지 않습니다.