Table 6 provides evaluation results for different pre-training and finetuning setups. We employ a soft matching score as the test accuracy, which we evaluate as exact presence of the target sequence in the first 64 tokens of a model's prediction. Across all the pre-trained models, finetuning with reverse training was critical in solving the reversal of NameToDescription, reaching close to 100% for the larger 7B model, while standard finetuning always results in 0% accuracy. For reversing DescriptionToName, only finetuning with the random segment reversal succeeded, achieving an accuracy around 70%. This is likely because generating descriptions is more challenging as they have many words and some variety even for the same person. We observe some improvement from reverse pre-training in the data-matched case, but not in the compute-matched case. We note that this is perhaps to be expected as the evaluation statements are fictitious and never appeared in the pre-training data.
표 6은 다양한 사전 학습 및 Fine-tuning 설정에 대한 평가 결과를 제공합니다. 우리는 모델 예측의 처음 64개 토큰에서 대상 시퀀스의 정확한 존재 여부를 평가하는 소프트 매칭 점수를 테스트 정확도로 사용합니다. 모든 사전 학습된 모델에서 역방향 학습을 사용한 Fine-tuning은 NameToDescription의 역전을 해결하는 데 매우 중요했으며, 더 큰 7B 모델의 경우 100%에 가까워졌지만 표준 Fine-tuning은 항상 0%의 정확도를 보였습니다. DescriptionToName을 반전시키는 경우 무작위 세그먼트 반전으로만 Fine-tuning하면 약 70%의 정확도를 달성할 수 있었습니다. 이는 동일한 사람에 대해서도 많은 단어와 약간의 다양성을 가지고 있기 때문에 설명을 생성하는 것이 더 어렵기 때문일 수 있습니다. 데이터가 일치하는 경우 역방향 사전 학습을 통해 약간의 개선을 관찰할 수 있었지만 컴퓨팅이 일치하는 경우에는 그렇지 않았습니다. 평가 문장이 허구적이며 사전 학습 데이터에 나타나지 않았기 때문에 예상할 수 있는 결과라고 생각합니다.
표 6은 다양한 사전 학습 및 미세 조정 설정에 대한 평가 결과를 제공합니다. 우리는 모델 예측의 처음 64개 토큰에서 대상 시퀀스의 정확한 존재 여부를 평가하는 소프트 매칭 점수를 테스트 정확도로 사용합니다. 모든 사전 학습된 모델에서 역방향 학습을 사용한 미세 조정은 NameToDescription의 역전을 해결하는 데 매우 중요했으며, 더 큰 7B 모델의 경우 100%에 가까워졌지만 표준 미세 조정은 항상 0%의 정확도를 보였습니다. DescriptionToName을 반전시키는 경우 무작위 세그먼트 반전으로만 미세 조정하면 약 70%의 정확도를 달성할 수 있었습니다. 이는 동일한 사람에 대해서도 많은 단어와 약간의 다양성을 가지고 있기 때문에 설명을 생성하는 것이 더 어렵기 때문일 수 있습니다. 데이터가 일치하는 경우 역방향 사전 학습을 통해 약간의 개선을 관찰할 수 있었지만 컴퓨팅이 일치하는 경우에는 그렇지 않았습니다. 평가 문장이 허구적이며 사전 학습 데이터에 나타나지 않았기 때문에 예상할 수 있는 결과라고 생각합니다.