What would explain the Reversal Curse in auto-regressive LLMs? We mostly leave this for future work. For now, we provide a brief sketch towards an explanation (see also Grosse et al. (2023)). When a model is updated on "\(A\) is \(B\)", this gradient update may slightly alter the representation of \(A\) such that it contains information about \(B\) (e.g. in the middle MLP layers as per Geva et al. (2022; 2023)). It would make rational sense for this gradient update to also alter the representation of \(B\) to contain information about \(A\).
자동 회귀 LLM에서 Reversal Curse를 설명할 수 있는 것은 무엇일까요? 이에 대해서는 대부분 향후 연구로 남겨두겠습니다. 지금은 설명을 간략하게 제시해 보겠습니다(Grosse et al. (2023) 참조). 모델이 "\(A\)는 \(B\)"에 대해 업데이트되면, 이 gradient update는 \(A\)의 표현을 약간 변경하여 \(B\)에 대한 정보를 포함하도록 할 수 있습니다(예: Geva et al. (2022; 2023)에 따르면 중간 MLP 레이어에). 이 gradient update는 \(B\)의 표현도 변경하여 \(A\)에 대한 정보를 포함하도록 하는 것이 합리적일 것입니다.
자동 회귀 LLM에서 리버설 저주를 설명할 수 있는 것은 무엇일까요? 이에 대해서는 대부분 향후 연구로 남겨두겠습니다. 지금은 설명을 간략하게 제시해 보겠습니다(Grosse et al. (2023) 참조). 모델이 "\(A\)는 \(B\)"에 대해 업데이트되면, 이 그라디언트 업데이트는 \(A\)의 표현을 약간 변경하여 \(B\)에 대한 정보를 포함하도록 할 수 있습니다(예: Geva et al. (2022; 2023)에 따르면 중간 MLP 레이어에). 이 그라디언트 업데이트는 \(B\)의 표현도 변경하여 \(A\)에 대한 정보를 포함하도록 하는 것이 합리적일 것입니다.