Finding reversal failures via entity-linkingKandpal et al. (2023) perform entity-linking on the pretraining datasets of GPT-J and Bloom (Wang and Komatuszaki, 2021; Workshop et al., 2023) to find all the occurrences of an entity in the pretraining data. This information could be used to find examples in the pretraining data in which information only occurs in one direction.
엔티티 링크를 통한 역전 실패 찾기Kandpal 등(2023)은 GPT-J와 Bloom의 pretraining 데이터(Wang and Komatuszaki, 2021; Workshop 등, 2023)에 대해 entity-linking을 수행하여 pretraining 데이터에서 엔티티가 발생하는 모든 경우를 찾습니다. 이 정보는 pretraining 데이터에서 정보가 한 방향으로만 발생하는 예를 찾는 데 사용할 수 있습니다.
엔티티 링크를 통한 역전 실패 찾기Kandpal 등(2023)은 GPT-J와 Bloom의 사전 학습 데이터(Wang and Komatuszaki, 2021; Workshop 등, 2023)에 대해 엔티티 링크를 수행하여 사전 학습 데이터에서 엔티티가 발생하는 모든 경우를 찾습니다. 이 정보는 사전 학습 데이터에서 정보가 한 방향으로만 발생하는 예를 찾는 데 사용할 수 있습니다.