We have seen that LLMs can efficiently compress knowledge into their parameter space, achieving 2bit/param even with 8-bit parameters. This raises the question: how and where is such knowledge stored? Our preliminary answer is that knowledge can be compactly stored within the model in a not-so-redundant manner. It is unlikely that the MLP layers alone store knowledge, as Attention layers, being of comparable sizes, also contribute to knowledge storage (c.f. Result 5). Moreover, particularly in models near the capacity boundary, removing the last transformer layer of an \(L\)-layer model to "probe" for remaining knowledge reveals that the "leftover knowledge" can be significantly less than \(1-\frac{1}{L}\) of the total.19 This suggests knowledge is stored not in individual layers but in a complex manner, akin to a safe with combination locks, where removing one layer may eliminate much more than \(\frac{1}{L}\) of the total knowledge.
우리는 LLM이 파라미터 공간으로 지식을 효율적으로 압축하여 8비트 파라미터에서도 2비트/파라미터를 달성할 수 있다는 것을 보았습니다. 이는 그러한 지식이 어떻게, 어디에 저장되는지에 대한 의문을 제기합니다. 우리의 예비적인 답변은 지식이 모델 내에 그다지 중복되지 않는 방식으로 압축되어 저장될 수 있다는 것입니다. 비슷한 크기의 Attention 레이어도 지식 저장에 기여하기 때문에 MLP 레이어만으로는 지식을 저장할 수 없을 것 같습니다(결과 5 참조). 또한, 특히 용량 한계에 가까운 모델의 경우, 마지막 Transformer 레이어를 제거하여 남은 지식을 "탐색"하면 "남은 지식"이 전체의 \(1-\frac{1}{L}\)보다 훨씬 적을 수 있음을 알 수 있습니다.19 이는 지식이 개별 레이어가 아닌 조합 자물쇠가 있는 금고와 유사한 복잡한 방식으로 저장되며, 한 레이어를 제거하면 전체 지식의 \(\frac{1}{L}\)보다 훨씬 더 많은 양이 제거될 수 있음을 시사합니다.
우리는 LLM이 파라미터 공간으로 지식을 효율적으로 압축하여 8비트 파라미터에서도 2비트/파라미터를 달성할 수 있다는 것을 보았습니다. 이는 그러한 지식이 어떻게, 어디에 저장되는지에 대한 의문을 제기합니다. 우리의 예비적인 답변은 지식이 모델 내에 그다지 중복되지 않는 방식으로 압축되어 저장될 수 있다는 것입니다. 비슷한 크기의 어텐션 레이어도 지식 저장에 기여하기 때문에 MLP 레이어만으로는 지식을 저장할 수 없을 것 같습니다(결과 5 참조). 또한, 특히 용량 한계에 가까운 모델의 경우, 마지막 트랜스포머 레이어를 제거하여 남은 지식을 "탐색"하면 "남은 지식"이 전체의 \(1-\frac{1}{L}\)보다 훨씬 적을 수 있음을 알 수 있습니다.19 이는 지식이 개별 레이어가 아닌 조합 자물쇠가 있는 금고와 유사한 복잡한 방식으로 저장되며, 한 레이어를 제거하면 전체 지식의 \(\frac{1}{L}\)보다 훨씬 더 많은 양이 제거될 수 있음을 시사합니다.