Model editing examines ways to amend factual knowledge in LMs (De Cao et al., 2021; Mitchell et al., 2022; Meng et al., 2022; Zhang et al., 2024). However, recent works have shown that the existing editing approaches, largely focusing on single fact edits, fail to propagate the edits to facts that depend on the edited fact (Onoe et al., 2023; Zhong et al., 2023; Cohen et al., 2023). Our work explores the possibilities that such propagation could work. Moreover, our work investigates a pathway that affects the consistency at inference, whereas prior work in consistency has focused on quantifying inconsistency and improving consistency post-hoc (Ribeiro et al., 2019; Li et al., 2019; Asai and Hajishirzi, 2020; Elazar et al., 2021; Kassner et al., 2021, 2023; Jang et al., 2023). Sakarvadia et al. (2023) aim to improve multi-hop reasoning accuracy with a hypothesis that the errors stem from failure to recall the latent hop, while we investigate the foundations of this hypothesis of whether the model actually performs such a latent multi-hop reasoning.
모델 편집은 LMs에서 사실적 지식을 수정하는 방법을 조사합니다(De Cao et al., 2021; Mitchell et al., 2022; Meng et al., 2022; Zhang et al., 2024). 그러나 최근 연구에 따르면 기존의 편집 접근 방식은 대부분 단일 사실 편집에 초점을 맞추고 있어 편집된 사실에 의존하는 사실에 편집을 전파하는 데 실패한다는 사실이 밝혀졌습니다(Onoe et al., 2023; Zhong et al., 2023; Cohen et al., 2023). 이러한 전파가 작동할 수 있는 가능성을 탐구하는 것이 저희 연구의 목적입니다. 또한, 저희 연구는 추론 시 일관성에 영향을 미치는 경로를 조사하는 반면, 일관성에 대한 이전 연구는 불일치를 정량화하고 사후에 일관성을 개선하는 데 초점을 맞추었습니다(Ribeiro et al., 2019; Li et al., 2019; Asai and Hajishirzi, 2020; Elazar et al., 2021; Kassner et al., 2021, 2023; Jang et al., 2023). Sakarvadia et al. (2023)은 잠재적 오류가 잠재적 홉을 기억하지 못하는 데서 비롯된다는 가설로 multi-hop reasoning 정확도를 향상시키는 것을 목표로 하는 반면, 저희는 모델이 실제로 이러한 잠재적 multi-hop reasoning을 수행하는지에 대한 가설의 기초를 조사합니다.
모델 편집은 LM에서 사실적 지식을 수정하는 방법을 조사합니다(De Cao et al., 2021; Mitchell et al., 2022; Meng et al., 2022; Zhang et al., 2024). 그러나 최근 연구에 따르면 기존의 편집 접근 방식은 대부분 단일 사실 편집에 초점을 맞추고 있어 편집된 사실에 의존하는 사실에 편집을 전파하는 데 실패한다는 사실이 밝혀졌습니다(Onoe et al., 2023; Zhong et al., 2023; Cohen et al., 2023). 이러한 전파가 작동할 수 있는 가능성을 탐구하는 것이 저희 연구의 목적입니다. 또한, 저희 연구는 추론 시 일관성에 영향을 미치는 경로를 조사하는 반면, 일관성에 대한 이전 연구는 불일치를 정량화하고 사후에 일관성을 개선하는 데 초점을 맞추었습니다(Ribeiro et al., 2019; Li et al., 2019; Asai and Hajishirzi, 2020; Elazar et al., 2021; Kassner et al., 2021, 2023; Jang et al., 2023). Sakarvadia et al. (2023)은 잠재적 오류가 잠재적 홉을 기억하지 못하는 데서 비롯된다는 가설로 다중 홉 추론 정확도를 향상시키는 것을 목표로 하는 반면, 저희는 모델이 실제로 이러한 잠재적 다중 홉 추론을 수행하는지에 대한 가설의 기초를 조사합니다.