Utilizing one of the most advanced open-source models, Llama-2 7B, our research investigates the effects on LLMs when they undergo finetuning8 with data generated by other LLMs. To ensure the generation of high-quality data and to provide a relevant but not trivial downstream task, we employ the Wikitext-103 dataset. We segment this dataset into chunks of 128 tokens, between each with a stride of 64 tokens, resulting in approximately 2.2 million chunks. Denote this dataset as \(\mathcal{D}_{0}\). The task for generation involves producing the final 32 tokens given the initial 96 tokens from each chunk in the original dataset. In the initial generation (0-th generation), we use the Llama-2 7B FT model, which has been finetuned on \(\mathcal{D}_{0}\), applying a generation loss that focuses solely on the cross-entropy loss of the final 32 tokens. We denote this initial model as \(\mathcal{M}_{0}\), which demonstrates enhanced capacity for the generation task compared to the standard Llama-2 7B model. By querying \(\mathcal{M}_{0}\) with the original 96 tokens from \(\mathcal{D}_{0}\), we generate the dataset \(\mathcal{D}_{1}\) and subsequently finetune Llama-2 7B on this dataset to obtain \(\mathcal{M}_{1}\). This process is sequentially repeated to generate \(\mathcal{D}_{i}\) from \(\mathcal{M}_{i-1}\) and obtain \(\mathcal{M}_{i}\) through finetuning. By comparing the performance of various \(\mathcal{M}\) models on the test set derived from Wikitext-103, also segmented into 128-token chunks, we aim to investigate the model collapse in LLMs.
가장 진보된 오픈 소스 모델 중 하나인 Llama-2 7B를 활용하여, 다른 LLM이 생성한 데이터로 Fine-tuning을 거친 LLM에 미치는 영향을 조사합니다. 고품질 데이터를 생성하고 관련성이 높지만 사소하지 않은 다운스트림 작업을 제공하기 위해 Wikitext-103 데이터 세트를 사용합니다. 이 데이터 세트를 약 220만 개의 청크로 분할하고, 각 청크 사이에 64개의 토큰 간격을 두어 토큰 128개로 세분화합니다. 이 데이터 세트를 \(\mathcal{D}_{0}\)로 표시합니다. 생성 작업은 원본 데이터 세트의 각 청크에서 처음 96개의 토큰이 주어졌을 때 마지막 32개의 토큰을 생성하는 것입니다. 초기 생성(0세대)에서는 \(\mathcal{D}_{0}\)에 대해 Fine-tuning된 Llama-2 7B FT 모델을 사용하여 마지막 32개의 토큰의 교차 엔트로피 Loss에만 초점을 맞춘 생성 Loss를 적용합니다. 이 초기 모델을 \(\mathcal{M}_{0}\)으로 표시하며, 이 모델은 표준 Llama-2 7B 모델에 비해 생성 작업에 대한 용량이 향상된 것을 보여줍니다. \(\mathcal{M}_{0}\)을 사용하여 \(\mathcal{D}_{0}\)의 원래 96개 토큰을 쿼리하면 데이터 세트 \(\mathcal{D}_{1}\)을 생성하고 이 데이터 세트에 대해 Llama-2 7B를 Fine-tuning하여 \(\mathcal{M}_{1}\)을 얻습니다. 이 과정을 순차적으로 반복하여 \(\mathcal{M}_{i-1}\)에서 \(\mathcal{D}_{i}\)를 생성하고 Fine-tuning을 통해 \(\mathcal{M}_{i}\)를 얻습니다. 128 토큰 청크로 세분화된 Wikitext-103에서 파생된 테스트 세트에서 다양한 \(\mathcal{M}\) 모델의 성능을 비교하여 LLM의 모델 붕괴를 조사하는 것을 목표로 합니다.
가장 진보된 오픈 소스 모델 중 하나인 Llama-2 7B를 활용하여, 다른 LLM이 생성한 데이터로 미세 조정8을 거친 LLM에 미치는 영향을 조사합니다. 고품질 데이터를 생성하고 관련성이 높지만 사소하지 않은 다운스트림 작업을 제공하기 위해 Wikitext-103 데이터 세트를 사용합니다. 이 데이터 세트를 약 220만 개의 청크로 분할하고, 각 청크 사이에 64개의 토큰 간격을 두어 토큰 128개로 세분화합니다. 이 데이터 세트를 \(\mathcal{D}_{0}\)로 표시합니다. 생성 작업은 원본 데이터 세트의 각 청크에서 처음 96개의 토큰이 주어졌을 때 마지막 32개의 토큰을 생성하는 것입니다. 초기 생성(0세대)에서는 \(\mathcal{D}_{0}\)에 대해 미세 조정된 Llama-2 7B FT 모델을 사용하여 마지막 32개의 토큰의 교차 엔트로피 손실에만 초점을 맞춘 생성 손실을 적용합니다. 이 초기 모델을 \(\mathcal{M}_{0}\)으로 표시하며, 이 모델은 표준 Llama-2 7B 모델에 비해 생성 작업에 대한 용량이 향상된 것을 보여줍니다. mathcal{M}_{0}\)을 사용하여 \(\mathcal{D}_{0}\)의 원래 96개 토큰을 쿼리하면 데이터 세트 \(\mathcal{D}_{1}\)을 생성하고 이 데이터 세트에 대해 Llama-2 7B를 미세 조정하여 \(\mathcal{M}_{1}\)을 얻습니다. 이 과정을 순차적으로 반복하여 \(\mathcal{M}_{i-1}\)에서 \(\mathcal{D}_{i}\)를 생성하고 미세 조정을 통해 \(\mathcal{M}_{i}\)를 얻습니다. 128 토큰 청크로 세분화된 Wikitext-103에서 파생된 테스트 세트에서 다양한 \(\mathcal{M}\) 모델의 성능을 비교하여 LLM의 모델 붕괴를 조사하는 것을 목표로 합니다.