InterpretabilityConventional interpretability research investigates the significance of input features with their corresponding outputs Vig (2019); Hewitt and Liang (2019); Qiu et al. (2020).In the era of LLMs, one brunch of work includes efforts to understand knowledge storage, with Geva et al. (2021) initiating the study of the feed-forward layer as a knowledge base. Subsequent work has furthered this by altering neuron values Dai et al. (2022), mapping embeddings to words Geva et al. (2022), modifying inputs to recover embeddings Meng et al.
해석 가능성 기존의 해석 가능성 연구는 입력 기능의 중요성과 그에 상응하는 출력 Vig(2019); Hewitt 및 Liang(2019); Qiu 등(2020)을 조사합니다. Large Language Models (LLMs) 시대에 이르러 한 가지 가지 연구는 지식 저장소를 이해하려는 노력을 포함하며, Geva 등(2021)은 feed-forward layer를 지식 기반으로 연구하는 것을 시작했습니다. 후속 연구에서는 뉴런 값을 변경하여 이를 발전시켰습니다. (2022), 임베딩을 단어에 매핑하는 Geva 등(2022), 임베딩을 복구하기 위해 입력을 수정하는 Meng 등(2022) 등이 있습니다.
해석 가능성 기존의 해석 가능성 연구는 입력 기능의 중요성과 그에 상응하는 출력 Vig(2019); Hewitt 및 Liang(2019); Qiu 등(2020)을 조사합니다. LLM 시대에 이르러 한 가지 가지 연구는 지식 저장소를 이해하려는 노력을 포함하며, Geva 등(2021)은 피드 포워드 레이어를 지식 기반으로 연구하는 것을 시작했습니다. 후속 연구에서는 뉴런 값을 변경하여 이를 발전시켰습니다. (2022), 임베딩을 단어에 매핑하는 Geva 등(2022), 임베딩을 복구하기 위해 입력을 수정하는 Meng 등(2022) 등이 있습니다.