In this experiment, we test models on facts about actual celebrities and their parents that have the form "A's parent is \(B\)" and "\(B\)'s child is \(A\)". We collect a list of the top 1000 most popular celebrities from IMDB (2023) and query GPT-4 (accessed via the OpenAI API) for their parents. The exact prompt is provided in Appendix C. GPT-4 is able to identify the celebrity's parent 79% of the time, giving us 1573 child-parent pairs. For each child-parent pair, we query GPT-4 to identify the child. Here, GPT-4 is successful only 33% of the time 11. Figure 1 illustrates this phenomenon. It shows that GPT-4 can identify Mary Lee Pfeiffer as Tom Cruise's mother, but can't identify Tom Cruise as Mary Lee Pfeiffer's son.
이 실험에서는 "A's parent is \(B\)" 및 "\(B\)'s child is \(A\)"의 형태를 가진 실제 유명인과 그 부모에 대한 사실에 대한 모델을 테스트합니다. IMDB에서 가장 인기 있는 상위 1000명의 유명인 목록을 수집하고(2023) 부모에 대해 GPT-4(OpenAI API를 통해 액세스)를 query합니다. 정확한 prompt는 부록 C에 나와 있습니다. GPT-4는 유명인의 부모를 79%의 경우 식별할 수 있어 1573쌍의 자녀-부모 쌍을 제공합니다. 각 자녀-부모 쌍에 대해 GPT-4를 query하여 자녀를 식별합니다. 여기서 GPT-4는 33%의 경우에만 성공합니다. 그림 1은 이러한 현상을 보여줍니다. 이 그림은 GPT-4가 Mary Lee Pfeiffer를 Tom Cruise의 어머니로 식별할 수 있지만 Tom Cruise를 Mary Lee Pfeiffer의 아들로 식별할 수 없음을 보여줍니다.
이 실험에서는 "A의 부모는 \(B\)" 및 "\((B\)'의 자녀는 \(A\)"의 형태를 가진 실제 유명인과 그 부모에 대한 사실에 대한 모델을 테스트합니다. IMDB에서 가장 인기 있는 상위 1000명의 유명인 목록을 수집하고(2023) 부모에 대해 GPT-4(OpenAI API를 통해 액세스)를 쿼리합니다. 정확한 프롬프트는 부록 C에 나와 있습니다. GPT-4는 유명인의 부모를 79%의 경우 식별할 수 있어 1573쌍의 자녀-부모 쌍을 제공합니다. 각 자녀-부모 쌍에 대해 GPT-4를 쿼리하여 자녀를 식별합니다. 여기서 GPT-4는 33%의 경우에만 성공합니다. 그림 1은 이러한 현상을 보여줍니다. 이 그림은 GPT-4가 토미 리 파이퍼를 톰 크루즈의 어머니로 식별할 수 있지만 톰 크루즈를 메리 리 파이퍼의 아들로 식별할 수 없음을 보여줍니다.