Implicit MethodsZhu et al. (2020) proposed a new task of explicitly modifying specific facts without forgetting unmodified facts and provided several benchmark approaches without utilizing non-parametric memory, including constrained layer-wise finetuning. Wang et al. (2021) proposed K-Adapter, a method that adds adapters to frozen layers of pretrained LMs to inject factual and linguistic knowledge and improve performance on downstream tasks. Chen et al. (2020) proposed a new optimizer that simulates the pretraining optimization while finetuning on the target task without needing access to the pretraining corpus, improving performance on the GLUE benchmark. De Cao et al. (2021) propose using a hyper-network to edit factual knowledge.
암시적 방법Zhu et al.(2020)은 수정하지 않은 사실을 잊지 않고 특정 사실을 명시적으로 수정하는 새로운 작업을 제안하고 비모수 메모리를 활용하지 않는 몇 가지 벤치마크 접근 방식을 제안했으며, 제한된 계층별 Fine-tuning을 포함하여 사전 학습된 LM의 냉동 계층에 어댑터를 추가하여 사실적 및 언어적 지식을 주입하고 다운스트림 작업의 성능을 개선하는 방법을 제안했습니다. Chen et al.(2020)은 사전 학습 코퍼스에 액세스할 필요 없이 대상 작업에 대한 Fine-tuning을 수행하는 동안 사전 학습 최적화를 시뮬레이션하는 새로운 Optimizer를 제안하여 GLUE 벤치마크의 성능을 개선했습니다. De Cao et al.(2021)은 하이퍼 네트워크를 사용하여 사실적 지식을 편집하는 방법을 제안합니다.
암시적 방법Zhu et al.(2020)은 수정하지 않은 사실을 잊지 않고 특정 사실을 명시적으로 수정하는 새로운 작업을 제안하고 비모수 메모리를 활용하지 않는 몇 가지 벤치마크 접근 방식을 제안했으며, 제한된 계층별 미세 조정을 포함하여 사전 학습된 LM의 냉동 계층에 어댑터를 추가하여 사실적 및 언어적 지식을 주입하고 다운스트림 작업의 성능을 개선하는 방법을 제안했습니다. Chen et al.(2020)은 사전 학습 코퍼스에 액세스할 필요 없이 대상 작업에 대한 미세 조정을 수행하는 동안 사전 학습 최적화를 시뮬레이션하는 새로운 최적화 도구를 제안하여 GLUE 벤치마크의 성능을 개선했습니다. De Cao et al.(2021)은 하이퍼 네트워크를 사용하여 사실적 지식을 편집하는 방법을 제안합니다.