This experiment may underestimate GPT-4's ability. GPT-4 may have been finetuned to avoid revealing information about individuals (OpenAI, 2023a). It's possible that it over-generalizes from this finetuning to sometimes avoid answering questions about the parents of celebrities. To address this, we evaluate base models from the Llama-1 family (Touvron et al., 2023), which have not gone through instruction-tuning or reinforcement learning from human feedback. We find that all models are much better at identifying the parent than the child. See Figure 5. Further details for Experiment 2 are in Appendix C.
이 실험은 GPT-4의 능력을 과소평가할 수 있습니다. GPT-4는 개인에 대한 정보를 공개하지 않도록 Fine-tuning되었을 수 있습니다(OpenAI, 2023a). 이러한 Fine-tuning을 통해 유명인의 부모에 대한 질문에 대답하지 않는 경우가 있을 수 있습니다. 이를 해결하기 위해 Instruction Tuning이나 Reinforcement Learning from Human Feedback을 거치지 않은 Llama-1 제품군(Touvron et al., 2023)의 기본 모델을 평가합니다. 모든 모델이 자녀보다 부모를 식별하는 데 훨씬 더 뛰어나다는 것을 발견했습니다. 그림 5 참조. 실험 2에 대한 자세한 내용은 부록 C에서 확인할 수 있습니다.
이 실험은 GPT-4의 능력을 과소평가할 수 있습니다. GPT-4는 개인에 대한 정보를 공개하지 않도록 미세 조정되었을 수 있습니다(OpenAI, 2023a). 이러한 미세 조정을 통해 유명인의 부모에 대한 질문에 대답하지 않는 경우가 있을 수 있습니다. 이를 해결하기 위해 지시 튜닝이나 인간 피드백을 통한 강화 학습을 거치지 않은 Llama-1 제품군(Touvron et al., 2023)의 기본 모델을 평가합니다. 모든 모델이 자녀보다 부모를 식별하는 데 훨씬 더 뛰어나다는 것을 발견했습니다. 그림 5 참조. 실험 2에 대한 자세한 내용은 부록 C에서 확인할 수 있습니다.