<description>" and "<description> is <name>" often co-occur in pretraining datasets; if the former appears in a dataset, the latter is intuitively more likely to appear.4 This is because humans often vary the order of elements in a sentence or paragraph.5 Thus, a good meta-learner would increase the probability of an instance of "<description> is <name>" after being trained on "<name> is <description>". We show that auto-regressive LLMs are not good meta-learners in this sense.
"<description>"과 "<description> is <name>"은 사전 학습 데이터 세트에서 자주 공존하며, 전자가 데이터 세트에 나타나면 후자가 나타날 가능성이 직관적으로 더 높습니다. 이는 인간이 문장이나 단락에서 요소의 순서를 자주 변경하기 때문입니다. 따라서 좋은 meta-learner는 "<name> is <description>"으로 학습한 후 "<description> is <name>"의 인스턴스 확률을 높일 것입니다. 우리는 auto-regressive LLM이 이러한 의미에서 좋은 meta-learner가 아님을 보여줍니다.
<설명>"과 "<설명>은 <이름>"은 사전 학습 데이터 세트에서 자주 공존하며, 전자가 데이터 세트에 나타나면 후자가 나타날 가능성이 직관적으로 더 높습니다.4 이는 인간이 문장이나 단락에서 요소의 순서를 자주 변경하기 때문입니다.5 따라서 좋은 메타 학습자는 "<설명>이 <이름>"으로 학습한 후 "<설명>이 <이름>"의 인스턴스 확률을 높일 것입니다. 우리는 자동 회귀 LLM이 이러한 의미에서 좋은 메타 학습자가 아님을 보여줍니다.