Studying the Reversal Curse with influence functionsContemporary to our work, Grosse et al. (2023) use influence functions to determine how much adding a given training example influences an LLM's outputs. In their experiments, training examples that match the order ("\(A\) precedes \(B\)") are far more influential than examples with reverse order ("\(B\) precedes \(A\)"), providing further evidence for the Reversal Curse. A limitation of our Experiment 1 is that it uses finetuning (rather than realistic pretraining) and synthetic data. (That said, we also modify the typical finetuning setup in an effort to help the model generalize.) A limitation of Grosse et al. (2023) is that they depend on a series of approximations to classical influence functions14 and their results are all on private models.
영향 함수를 사용하여 Reversal Curse 연구하기현대에 Grosse 등(2023)은 영향 함수를 사용하여 특정 학습 예제를 추가하면 LLM의 출력에 얼마나 영향을 미치는지 확인합니다. 이들의 실험에서 순서와 일치하는 학습 예제("\(A\)가 \(B\) 앞에 오름")가 역순의 예제("\(B\)가 \(A\) 앞에 오름")보다 훨씬 더 영향력이 컸으며, 이는 Reversal Curse에 대한 추가적인 증거를 제공합니다. 실험 1의 한계는 사실적인 사전 학습보다는 Fine-tuning과 합성 데이터를 사용한다는 점입니다. (즉, 모델의 일반화를 돕기 위해 일반적인 Fine-tuning 설정도 수정했습니다.) Grosse 등(2023)의 한계는 고전적인 영향 함수14에 대한 일련의 근사치에 의존하고 있으며, 그 결과는 모두 비공개 모델에 대한 결과라는 점입니다.
영향 함수를 사용하여 반전 저주 연구하기현대에 그로스 등(2023)은 영향 함수를 사용하여 특정 학습 예제를 추가하면 LLM의 출력에 얼마나 영향을 미치는지 확인합니다. 이들의 실험에서 순서와 일치하는 학습 예제("\(A\)가 \(B\) 앞에 오름")가 역순의 예제("\(B\)가 \(A\) 앞에 오름")보다 훨씬 더 영향력이 컸으며, 이는 반전 저주에 대한 추가적인 증거를 제공합니다. 실험 1의 한계는 사실적인 사전 학습보다는 미세 조정(finetuning)과 합성 데이터를 사용한다는 점입니다. (즉, 모델의 일반화를 돕기 위해 일반적인 미세 조정 설정도 수정했습니다.) 그로스 등(2023)의 한계는 고전적인 영향 함수14에 대한 일련의 근사치에 의존하고 있으며, 그 결과는 모두 비공개 모델에 대한 결과라는 점입니다.