* For the reversal tasks of determining the person's full name, only in the entity-preserving reversal case do accuracies become non-trivial. Both token/word reversals completely fail in such tasks. * When determining a person's full name given only the birth date, the reversal task accuracy remains near zero; this is because dates are treated as three entities in our adopted entity detection method, so their ordering is _not preserved_ in the reversal. * If the reversal tasks are simplified to determining the person's _last name only_, then word-level reversal suffices, and token-level reversal also yields non-trivial accuracies. * Some readers may find it surprising that an entity-preserving method can determine the person's full name but not the person's last name. This is a known phenomenon (Allen-Zhu & Li, 2023b): a language model may completely fail at retrieving _later_ tokens of a knowledge piece (such as the last name) without the help of spelling out earlier tokens -- they can be viewed as a Chain of Thought (CoT).
* 사람의 전체 이름을 결정하는 reversal 작업의 경우, entity-preserving reversal의 경우에만 정확도가 사소하지 않습니다. 토큰/단어 reversal은 이러한 작업에서 완전히 실패합니다. * 생년월일만 주어졌을 때 사람의 전체 이름을 결정하는 경우, reversal 작업 정확도는 0에 가까운 수준을 유지합니다. 이는 날짜가 채택된 entity detection 방법에서 세 개의 entity로 처리되기 때문에 reversal에서 날짜의 순서가 _보존되지 않기 때문입니다. * reversal 작업을 사람의 _성만_ 결정하는 것으로 단순화하면 단어 수준의 reversal로 충분하며 토큰 수준의 reversal도 비 사소한 정확도를 산출합니다. * 일부 독자들은 entity-preserving 방법으로 사람의 전체 이름은 결정할 수 있지만 사람의 성은 결정할 수 없는 것이 놀랍다고 생각할 수 있습니다. 이는 알려진 현상입니다(Allen-Zhu & Li, 2023b): 언어 모델은 앞의 토큰을 철자하는 데 도움 없이는 지식 조각의 _후반_ 토큰(예: 성)을 검색하는 데 완전히 실패할 수 있으며, 이는 Chain of Thought (CoT)로 볼 수 있습니다.
* 사람의 전체 이름을 결정하는 반전 작업의 경우, 실체 보존 반전의 경우에만 정확도가 사소하지 않습니다. 토큰/단어 반전은 이러한 작업에서 완전히 실패합니다. * 생년월일만 주어졌을 때 사람의 전체 이름을 결정하는 경우, 반전 작업 정확도는 0에 가까운 수준을 유지합니다. 이는 날짜가 채택된 엔티티 감지 방법에서 세 개의 엔티티로 처리되기 때문에 반전에서 날짜의 순서가 _보존되지 않기 때문입니다. * 반전 작업을 사람의 _성만_ 결정하는 것으로 단순화하면 단어 수준의 반전으로 충분하며 토큰 수준의 반전도 비 사소한 정확도를 산출합니다. * 일부 독자들은 엔티티 보존 방법으로 사람의 전체 이름은 결정할 수 있지만 사람의 성은 결정할 수 없는 것이 놀랍다고 생각할 수 있습니다. 이는 알려진 현상입니다(Allen-Zhu & Li, 2023b): 언어 모델은 앞의 토큰을 철자하는 데 도움 없이는 지식 조각의 _후반_ 토큰(예: 성)을 검색하는 데 완전히 실패할 수 있으며, 이는 생각의 사슬(CoT)로 볼 수 있습니다.