While the world knowledge stored in LMs has diverse use cases, it can quickly become outdated as the world changes fast, and LMs need to frequently renew their internal world knowledge accordingly. For example, it is impossible to probe for _new_ information such as "_- _won the US Election 2020_" from the original T5 (Raffel et al., 2019) which was pretrained on C4 web corpus from April 2019.1 Also, information that may have once been considered accurate may no longer be valid because the information has been _updated_. For instance, the answer to "_Which soccer team does Cristiano Ronaldo play for?_" has changed from _Juventus_ to _Manchester United_ in September 2021. Meanwhile, _time-invariant_ information learned from the original corpus such as "_Barack Obama was born in Honolulu, Hawaii_" should not be altered within the LMs.
LMs에 저장된 세계 지식은 다양한 사용 사례를 가지고 있지만, 세계가 빠르게 변화함에 따라 빠르게 구식이 될 수 있으며, LMs는 이에 따라 내부 세계 지식을 자주 갱신해야 합니다. 예를 들어, 2019년 4월의 C4 웹 코퍼스를 사전 학습한 원래 T5 (Raffel et al., 2019)에서 "_- _2020년 미국 선거에서 승리한 사람_"과 같은 _새로운_ 정보를 탐색하는 것은 불가능합니다. 또한, 한때 정확하다고 여겨졌던 정보가 _업데이트_되면서 더 이상 유효하지 않을 수 있습니다. 예를 들어, "_크리스티아누 호날두가 어느 축구팀에서 뛰고 있나요?_"에 대한 답변은 2021년 9월에 _유벤투스_에서 _맨체스터 유나이티드_로 변경되었습니다. 한편, "_버락 오바마는 하와이 호놀룰루에서 태어났다_"와 같은 원래 코퍼스에서 학습한 _시간 불변_ 정보는 LMs 내에서 변경되지 않아야 합니다.
LM에 저장된 세계 지식은 다양한 사용 사례로 활용되지만, 세상이 빠르게 변화함에 따라 빠르게 낙후될 수 있으며, 이에 따라 LM은 내부 세계 지식을 자주 갱신해야 합니다. 예를 들어, 2019년 4월부터 C4 웹 코퍼스에 대해 사전 학습된 원래 T5(Raffel et al., 2019)에서는 "_- _2020년 미국 대선에서 승리했다_"와 같은 _새로운_ 정보를 탐색할 수 없습니다.1 또한, 한때 정확한 것으로 간주되었던 정보가 _업데이트_되었기 때문에 더 이상 유효하지 않을 수 있습니다. 예를 들어, "_크리스티아누 호날두는 어느 축구팀에서 뛰나요?_"에 대한 답변은 2021년 9월에 _유벤투스_에서 _맨체스터 유나이티드_로 변경되었습니다. 한편, "_버락 오바마는 하와이 호놀룰루에서 태어났다_"와 같이 원래 코퍼스에서 학습한 _시간 불변_ 정보는 LM 내에서 변경되어서는 안 됩니다.