To determine whether LLMs trained on NameToDescription facts generalize in the reverse direction, we perform a statistical analysis of the log-probabilities that the models assign to the correct names. Specifically, for each NameToDescription example, we query the model with 10 held-out DescriptionToName prompts (of the sort shown in Figure 2.) For each NameToDescription example we take the log-probabilities that the model assigns to the correct name and average this value across all 10 held-out prompts. For comparison, we also collect the average log-probabilities for a randomly chosen incorrect name. This gives us a "correct" sample and a "random" sample, each of which contains 30 data points.
NameToDescription 사실에 대해 학습된 LLM이 역방향으로 일반화되는지 여부를 확인하기 위해 모델이 올바른 이름에 할당하는 log-probabilities에 대한 통계 분석을 수행합니다. 구체적으로, 각 NameToDescription 예제에 대해 10개의 보류된 DescriptionToName prompts(그림 2에 표시된 것과 같은)로 모델에 쿼리합니다. 각 NameToDescription 예제에 대해 모델이 올바른 이름에 할당하는 log-probabilities를 취하고 이 값을 10개의 보류된 prompts 전체에 걸쳐 평균화합니다. 비교를 위해 무작위로 선택한 잘못된 이름의 평균 log-probabilities도 수집합니다. 이렇게 하면 "올바른" 샘플과 "임의" 샘플이 생성되며, 각 샘플에는 30개의 데이터 포인트가 포함됩니다.
NameToDescription 사실에 대해 학습된 LLM이 역방향으로 일반화되는지 여부를 확인하기 위해 모델이 올바른 이름에 할당하는 로그 확률에 대한 통계 분석을 수행합니다. 구체적으로, 각 NameToDescription 예제에 대해 10개의 보류된 DescriptionToName 프롬프트(그림 2에 표시된 것과 같은)로 모델에 쿼리합니다. 각 NameToDescription 예제에 대해 모델이 올바른 이름에 할당하는 로그 확률을 취하고 이 값을 10개의 보류된 프롬프트 전체에 걸쳐 평균화합니다. 비교를 위해 무작위로 선택한 잘못된 이름의 평균 로그 확률도 수집합니다. 이렇게 하면 "올바른" 샘플과 "임의" 샘플이 생성되며, 각 샘플에는 30개의 데이터 포인트가 포함됩니다.