Footnote 16: As demonstrated by [3], in low-diversity datasets like \(\mathsf{bioS}^{\mathsf{simple}}\), knowledge can be word-by-word memorized but is nearly 0% extractable for downstream tasks. Others discover that rewriting data can improve the reversal extractability of knowledge [4, 11].
Footnote 16: [3]에 의해 입증된 바와 같이, \(\mathsf{bioS}^{\mathsf{simple}}\)와 같은 다양성이 낮은 데이터셋에서는 지식을 단어 단위로 암기할 수 있지만, 다운스트림 작업을 위해 추출할 수 있는 비율은 거의 0%에 가깝습니다. 다른 연구에서는 데이터를 재작성하면 지식의 역추출 가능성을 향상시킬 수 있음을 발견했습니다 [4, 11].
주 16: [3]에서 보여진 것처럼, \(\mathsf{bioS}^{\mathsf{simple}}\)와 같이 다양성이 낮은 데이터 세트에서는 지식을 단어 단위로 암기할 수 있지만 다운스트림 작업에서 거의 0%의 추출 가능성이 있습니다. 다른 사람들은 데이터를 다시 작성하면 지식의 역추출 가능성을 향상시킬 수 있다는 것을 발견했습니다[4, 11].