We also examine the \(\mathsf{bioS^{simple}}(N)\) datasets, which are identical to \(\mathsf{bioS}(N)\) except that each individual's knowledge is stored in a fixed ordering of six fixed sentences (see Section 2.2). Allen-Zhu and Li [3] found that in such cases, the knowledge data are memorizable but nearly 0% extractable. As shown in Figure 11(a), in these instances, the capacity ratio slightly decreases compared to Figure 1(a). This implies, in this ideal setting, adding data diversity -- by rewriting the same knowledge multiple times using different writing templates -- not only enhances the model's ability to extract knowledge, as noted by [3], but also, surprisingly, _increases_ the model's capacity, as observed in this study.
우리는 또한 \(\mathsf{bioS^{simple}}(N)\) 데이터셋을 조사합니다. 이 데이터셋은 각 개인의 지식이 고정된 여섯 개의 문장 순서로 저장된다는 점을 제외하면 \(\mathsf{bioS}(N)\)와 동일합니다(섹션 2.2 참조). Allen-Zhu와 Li [3]는 이러한 경우 지식 데이터가 암기 가능하지만 거의 0% 추출 가능하다는 것을 발견했습니다. Figure 11(a)에서 볼 수 있듯이, 이러한 경우 용량 비율은 Figure 1(a)와 비교했을 때 약간 감소합니다. 이는 이 이상적인 설정에서, [3]이 언급한 바와 같이 동일한 지식을 여러 번 다른 작성 템플릿을 사용하여 다시 작성함으로써 데이터 다양성을 추가하는 것이 모델의 지식 추출 능력을 향상시킬 뿐만 아니라, 놀랍게도 이 연구에서 관찰된 바와 같이 모델의 용량을 _증가_ 시킨다는 것을 의미합니다.
또한, 각 개인의 지식이 6개의 고정 문장으로 고정된 순서로 저장되어 있는 점을 제외하면 \(\mathsf{bioS}(N)\)와 동일한 \(\mathsf{bioS^{simple}}(N)\) 데이터 세트도 살펴봅니다(2.2절 참조). Allen-Zhu와 Li [3]는 이러한 경우 지식 데이터는 기억할 수 있지만 추출 가능한 비율은 거의 0%라고 발견했습니다. 그림 11(a)에서 볼 수 있듯이, 이러한 경우 용량 비율은 그림 1(a)에 비해 약간 감소합니다. 이는 이 이상적인 설정에서 데이터 다양성을 추가하여 동일한 지식을 다른 작성 템플릿을 사용하여 여러 번 다시 작성하면 [3]에서 언급한 것처럼 모델의 지식 추출 능력이 향상될 뿐만 아니라 이 연구에서 관찰된 것처럼 놀랍게도 모델의 용량도 _증가_한다는 것을 의미합니다.