**Knowledge extraction.** The "2bit/param" result is not about word-by-word memorization. Even better, such knowledge is also flexibly extractable (e.g., via fine-tuning using QAs like "What is Anya Forger's birthday?") [3] and thus can be further manipulated in downstream tasks (such as comparing the birthdates of two people, or performing calculations on the retrieved knowledge, etc.) [4]. This is because our \(\mathsf{bioS}(N)\) data is knowledge-augmented: the English biographies have sufficient text diversities [3]. We also verify in Appendix A.2 that such knowledge is extractable.
**Knowledge extraction**. "2bit/param" 결과는 단어 단위로 외우는 것이 아닙니다. 더 나아가 이러한 지식은 "아냐 포거의 생일은 언제인가요?"와 같은 QA를 사용하여 Fine-tuning하는 등 유연하게 추출할 수 있으므로 다운스트림 작업에서 더 많은 조작을 할 수 있습니다(예: 두 사람의 생년월일을 비교하거나 검색된 지식에 대한 계산을 수행하는 등). [4]. 이는 우리의 \(\mathsf{bioS}(N)\) 데이터가 지식으로 증강되었기 때문입니다: 영어 전기에는 충분한 텍스트 다양성이 있습니다 [3]. 또한 부록 A.2에서 이러한 지식을 추출할 수 있음을 확인했습니다.
**지식 추출**. "2bit/param" 결과는 단어 단위로 외우는 것이 아닙니다. 더 나아가 이러한 지식은 "아냐 포거의 생일은 언제인가요?"와 같은 QA를 사용하여 미세 조정하는 등 유연하게 추출할 수 있으므로 다운스트림 작업에서 더 많은 조작을 할 수 있습니다(예: 두 사람의 생년월일을 비교하거나 검색된 지식에 대한 계산을 수행하는 등). [4]. 이는 우리의 \(\mathsf{bioS}(N)\) 데이터가 지식으로 증강되었기 때문입니다: 영어 전기에는 충분한 텍스트 다양성이 있습니다 [3]. 또한 부록 A.2에서 이러한 지식을 추출할 수 있음을 확인했습니다.