If a human learns the fact "Valentina Tereshkova was the first woman to travel to space", they can also correctly answer "Who was the first woman to travel to space?". This is such a basic form of generalization that it seems trivial. Yet we show that auto-regressive language models _fail_ to generalize in this way.
인간이 "Valentina Tereshkova는 최초로 우주를 여행한 여성이다"라는 사실을 배운다면, "최초로 우주를 여행한 여성은 누구입니까?"라는 질문에도 정답을 맞출 수 있습니다. 이는 매우 기본적인 형태의 일반화이므로 사소한 것처럼 보입니다. 그러나 auto-regressive language models는 이러한 방식으로 일반화하는 데 _실패_한다는 것을 보여줍니다.
인간이 "발렌티나 테레슈코바는 최초로 우주를 여행한 여성이다"라는 사실을 배운다면, "최초로 우주를 여행한 여성은 누구입니까?"라는 질문에도 정답을 맞출 수 있습니다. 이는 매우 기본적인 형태의 일반화이므로 사소한 것처럼 보입니다. 그러나 자동 회귀 언어 모델은 이러한 방식으로 일반화하는 데 _실패_한다는 것을 보여줍니다.