than only storing information redundantly in its parameters. Future work could strengthen such paths of traversal, ultimately leading to more parameter-efficient and controllable models. Conversely, a lack of evidence would indicate more fundamental limitations of the Transformer architecture or training. It would also have critical implications for model editing: if complex facts are recalled instead of inferred, editing only base facts will never be enough since the changes cannot propagate (Onoe et al., 2023; Zhong et al., 2023; Cohen et al., 2023).
매개변수에 정보를 중복적으로 저장하는 것 이상의 작업을 수행합니다. 향후 연구에서는 이러한 탐색 경로를 강화하여 궁극적으로 더욱 매개변수 효율적이고 제어 가능한 모델로 이어질 수 있습니다. 반대로 증거가 부족하다면 Transformer 아키텍처 또는 훈련의 근본적인 한계가 있음을 나타낼 수 있습니다. 또한 모델 편집에 중요한 영향을 미칠 수 있습니다. 복잡한 사실을 추론하는 대신 기억하는 경우, 변경 사항이 전파되지 않기 때문에 기본 사실만 편집하는 것으로는 충분하지 않을 것입니다(Onoe et al., 2023; Zhong et al., 2023; Cohen et al., 2023).
매개변수에 정보를 중복적으로 저장하는 것 이상의 작업을 수행합니다. 향후 연구에서는 이러한 탐색 경로를 강화하여 궁극적으로 더욱 매개변수 효율적이고 제어 가능한 모델로 이어질 수 있습니다. 반대로 증거가 부족하다면 트랜스포머 아키텍처 또는 훈련의 근본적인 한계가 있음을 나타낼 수 있습니다. 또한 모델 편집에 중요한 영향을 미칠 수 있습니다. 복잡한 사실을 추론하는 대신 기억하는 경우, 변경 사항이 전파되지 않기 때문에 기본 사실만 편집하는 것으로는 충분하지 않을 것입니다(Onoe et al., 2023; Zhong et al., 2023; Cohen et al., 2023).