**Proof difficulties.** If names are fixed (\(\mathcal{N}=\mathcal{N}_{0}\)) and there are \(N\) pieces of knowledge, each uniformly chosen from a fixed set \([T]\), it is straightforward that any model \(F(W)\), capable of learning such knowledge _perfectly_, must satisfy \(\log_{2}|\mathcal{W}|\geq N\log_{2}T\). To relate this to Theorem 3.2, we encounter three main challenges. First, the model \(F\) may only learn the knowledge with a certain degree of accuracy, as defined by the cross-entropy loss. Second, \(\mathcal{N}\neq\mathcal{N}_{0}\) so names need to be learned -- even a perfect model cannot achieve zero cross-entropy loss when generating names. Third, there is a dependency between knowledge pieces -- the value depends on the name and the choice of the diversity set (i.e., \(\mathcal{D}_{a}\)). The proof of Theorem 3.2 is deferred to Appendix F.
**증명 어려움**. 이름이 고정되어 있고(\(\mathcal{N}=\mathcal{N}_{0}\)) 지식이 \(N\)개이고 각각이 고정된 집합 \([T]\)에서 균일하게 선택된다면, 이러한 지식을 _완벽하게_ 학습할 수 있는 모델 \(F(W)\)는 \(\log_{2}|\mathcal{W}|\geq N\log_{2}T\). 이를 정리 3.2와 연관시키려면 세 가지 주요 과제가 있습니다. 첫째, 모델 \(F\)는 cross-entropy Loss로 정의된 특정 정도의 정확도로만 지식을 학습할 수 있습니다. 둘째, \(\mathcal{N}\neq\mathcal{N}_{0}\)이므로 이름을 학습해야 하며, 완벽한 모델도 이름을 생성할 때 cross-entropy Loss를 0으로 만들 수 없습니다. 셋째, 지식 조각 간에 종속성이 존재하며, 값은 이름과 다양성 집합의 선택에 따라 달라집니다(즉, \(\mathcal{D}_{a}\)). 정리 3.2의 증명은 부록 F로 미루어 봅니다.
**증명 어려움**. 이름이 고정되어 있고(\(\mathcal{N}=\mathcal{N}_{0}\)) 지식이 \(N\)개이고 각각이 고정된 집합 \([T]\)에서 균일하게 선택된다면, 이러한 지식을 _완벽하게_ 학습할 수 있는 모델 \(F(W)\)는 \(\log_{2}|\mathcal{W}|\geq N\log_{2}T\). 이를 정리 3.2와 연관시키려면 세 가지 주요 과제가 있습니다. 첫째, 모델 \(F\)는 교차 엔트로피 손실로 정의된 특정 정도의 정확도로만 지식을 학습할 수 있습니다. 둘째, \(\mathcal{N}\neq\mathcal{N}_{0}\)이므로 이름을 학습해야 하며, 완벽한 모델도 이름을 생성할 때 교차 엔트로피 손실을 0으로 만들 수 없습니다. 셋째, 지식 조각 간에 종속성이 존재하며, 값은 이름과 다양성 집합의 선택에 따라 달라집니다(즉, \(\mathcal{D}_{a}\)). 정리 3.2의 증명은 부록 F로 미루어 봅니다.