* Result 5: In the 1000-exposure setting, a 2bit/param capacity ratio appears to be a **universal rule**: all models, even without MLP layers, closely achieve this ratio. * Result 6: With 100 exposures, some archs show limitations; notably, LLaMA/Mistral's capacity ratio is 1.3x lower than GPT2's, even after best-tuned learning rates. * Result 7: Further controlled experiments indicate that "gated MLP" usage leads to LLaMA/Mistral architecture's underperformance in knowledge storage.
* 결과 5: 1000회 노출 설정에서 2bit/param 용량 비율은 모든 모델, 특히 MLP 레이어가 없는 모델도 이 비율에 근접하는 **보편적인 규칙**으로 보입니다. * 결과 6: 100회 노출 시 일부 arch에서 한계가 나타나는데, 특히 LLaMA/Mistral의 용량 비율은 최적화된 Learning Rate를 적용한 후에도 GPT2보다 1.3배 낮습니다. * 결과 7: 추가 제어 실험에 따르면 "gated MLP" 사용은 LLaMA/Mistral architecture의 지식 저장 성능 저하로 이어지는 것으로 나타났습니다.
* 결과 5: 1000회 노출 설정에서 2비트/파라미터 용량 비율은 모든 모델, 특히 MLP 레이어가 없는 모델도 이 비율에 근접하는 **보편적인 규칙**으로 보입니다. * 결과 6: 100회 노출 시 일부 아크에서 한계가 나타나는데, 특히 LLaMA/Mistral의 용량 비율은 최적화된 학습 속도를 적용한 후에도 GPT2보다 1.3배 낮습니다. * 결과 7: 추가 제어 실험에 따르면 "게이트형 MLP" 사용은 LLaMA/Mistral 아키텍처의 지식 저장 성능 저하로 이어지는 것으로 나타났습니다.