Analyzing the practical impact of the Reversal CurseThe pretraining sets for modern LLMs are very large and diverse. Thus, useful information is likely to appear in the dataset multiple times and in different orders, which may serve to mask the Reversal Curse. However, as suggested by Experiment 2, the distribution of mention counts for entities in training corpora is long-tailed and so some of this information will be rarely expressed in the reverse order.
역전술의 실제 영향 분석. 현대 Large Language Models (LLMs)의 사전 학습 세트는 매우 크고 다양합니다. 따라서 유용한 정보는 데이터 세트에 여러 번, 다른 순서로 나타날 가능성이 높으며, 이는 Reversal Curse를 가릴 수 있습니다. 그러나 실험 2에서 제안했듯이 학습 말뭉치에서 개체에 대한 언급 횟수 분포는 긴 꼬리를 가지고 있으므로 이러한 정보 중 일부는 역순으로 거의 표현되지 않습니다.
역전술의 실제 영향 분석현대 LLM의 사전 학습 세트는 매우 크고 다양합니다. 따라서 유용한 정보는 데이터 세트에 여러 번, 다른 순서로 나타날 가능성이 높으며, 이는 역전 저주를 가릴 수 있습니다. 그러나 실험 2에서 제안했듯이 학습 말뭉치에서 개체에 대한 언급 횟수 분포는 긴 꼬리를 가지고 있으므로 이러한 정보 중 일부는 역순으로 거의 표현되지 않습니다.