To test the reversal capability on real-world facts we use a celebrity task, which contains questions like "The mother of [celebrity_name] is "," that are known to be challenging to large scale LLMs. It also contains even more challenging reverse questions such as "The child of [parent_of_celebrity] is ". We perform two-shot evaluation using our pre-trained models, without any finetuning on this dataset.
실제 사실에 대한 역전 기능을 테스트하기 위해 우리는 대규모 LLM에 도전적인 것으로 알려진 "[유명인_이름]의 어머니는"과 같은 질문이 포함된 유명인 과제를 사용합니다. 또한 "[유명인_부모]의 자녀"와 같이 훨씬 더 어려운 역질문도 포함되어 있습니다. 이 데이터 세트에 대한 Fine-tuning 없이 사전 학습된 모델을 사용하여 two-shot 평가를 수행합니다.
실제 사실에 대한 역전 기능을 테스트하기 위해 우리는 대규모 LLM에 도전적인 것으로 알려진 "[유명인_이름]의 어머니는"과 같은 질문이 포함된 유명인 과제를 사용합니다. 또한 "[유명인_부모]의 자녀"와 같이 훨씬 더 어려운 역질문도 포함되어 있습니다. 이 데이터 세트에 대한 미세 조정 없이 사전 학습된 모델을 사용하여 2샷 평가를 수행합니다.