Subsequently, a rigorous cleaning process was utilized to transform the data from raw subsections to clean chunks. This step was done with the "wikiextractor" tool (Attardi, 2015). The division into small, clean (e.g., remove HTML, URLs, etc.) chunks was aimed at enhancing the evaluation of the LLMs' understanding across various knowledge domains and aiding the LLMs in the fine-tuning process.
이후 엄격한 정리 과정을 거쳐 원시 하위 섹션에서 깨끗한 청크로 데이터를 변환했습니다. 이 단계는 "wikiextractor" 도구(Attardi, 2015)를 사용하여 수행되었습니다. 작고 깨끗한(예: HTML, URL 등 제거) 청크로 나누는 것은 다양한 지식 영역에 걸쳐 LLMs의 이해도를 평가하고 LLMs가 Fine-tuning 과정에서 도움을 받을 수 있도록 하기 위한 것이었습니다.
이후 엄격한 정리 과정을 거쳐 원시 하위 섹션에서 깨끗한 청크로 데이터를 변환했습니다. 이 단계는 "wikiextractor" 도구(Attardi, 2015)를 사용하여 수행되었습니다. 작고 깨끗한(예: HTML, URL 등 제거) 청크로 나누는 것은 다양한 지식 영역에 걸쳐 LLM의 이해도를 평가하고 LLM이 미세 조정 과정에서 도움을 받을 수 있도록 하기 위한 것이었습니다.