As discussed in Section 3, Grosse et al. (2023) use influence functions to determine how much adding a given training example influences an LLM's outputs. They study auto-regressive pretrained LLMs of up to 52B parameters. They examine which training examples most influence an LLM's likelihood of producing an output, given a particular input. For instance, given the input \(A\), what most influences the likelihood of \(B\)? In their experiments, training examples that match the order ("\(A\) precedes \(B\)")are far more influential than examples with reverse order ("_B_ precedes _A_"). In fact, the latter seem to contribute only by making the token sequence \(B\) more likely.
3장에서 설명한 바와 같이, Grosse 등(2023)은 influence functions를 사용하여 특정 학습 예제를 추가하면 LLM의 출력에 얼마나 많은 영향을 미치는지 확인합니다. 이들은 최대 520억 개의 파라미터를 가진 auto-regressive pretrained LLM을 연구합니다. 특정 입력이 주어졌을 때, 어떤 학습 예제가 LLM이 출력을 생성할 가능성에 가장 큰 영향을 미치는지 조사합니다. 예를 들어, 입력 \(A\)가 주어졌을 때, \(B\)가 생성될 가능성에 가장 큰 영향을 미치는 것은 무엇일까요? 실험 결과, 순서와 일치하는 학습 예제("\(A\)가 \(B\) 앞에 오름")가 역순의 예제("_B_가 _A_ 앞에 오름")보다 훨씬 더 큰 영향을 미치는 것으로 나타났습니다. 실제로 후자는 토큰 시퀀스 \(B\)를 더 가능성 있게 만드는 것만으로 기여하는 것으로 보입니다.
3장에서 설명한 바와 같이, 그로스 등(2023)은 영향력 함수를 사용하여 특정 학습 예제를 추가하면 LLM의 출력에 얼마나 많은 영향을 미치는지 확인합니다. 이들은 최대 520억 개의 파라미터를 가진 자동 회귀 사전 학습 LLM을 연구합니다. 특정 입력이 주어졌을 때, 어떤 학습 예제가 LLM이 출력을 생성할 가능성에 가장 큰 영향을 미치는지 조사합니다. 예를 들어, 입력 \(A\)가 주어졌을 때, \(B\)가 생성될 가능성에 가장 큰 영향을 미치는 것은 무엇일까요? 실험 결과, 순서와 일치하는 학습 예제("\(A\)가 \(B\) 앞에 오름")가 역순의 예제("_B_가 _A_ 앞에 오름")보다 훨씬 더 큰 영향을 미치는 것으로 나타났습니다. 실제로 후자는 토큰 시퀀스 \(B\)를 더 가능성 있게 만드는 것만으로 기여하는 것으로 보입니다.