memorization metric from Feldman and Zhang [15] generally outperforms other methods. In the audio domain, Dong et al. [14] computes importance embeddings to find important training samples for audio scene classification. More recently, Abbas et al. [1] demonstrated very encouraging results on vision-language models (CLIP models) using SemDeDup -- a similar method to SSL prototypes but focused on semantic deduplication. Our work combines these approaches and applies them to large-scale LLMs.
Feldman과 Zhang [15]의 암기 metric은 일반적으로 다른 방법보다 성능이 우수합니다. 오디오 영역에서 Dong 등[14]은 중요 embedding을 계산하여 오디오 장면 분류에 중요한 훈련 샘플을 찾습니다. 최근에 Abbas 등[1]은 의미론적 중복 제거에 초점을 맞춘 SSL 프로토타입과 유사한 방법인 SemDeDup을 사용하여 비전 언어 모델(CLIP 모델)에서 매우 고무적인 결과를 입증했습니다. 저희 연구는 이러한 접근 방식을 결합하여 대규모 LLMs에 적용했습니다.
Feldman과 Zhang [15]의 암기 메트릭은 일반적으로 다른 방법보다 성능이 우수합니다. 오디오 영역에서 Dong 등[14]은 중요 임베딩을 계산하여 오디오 장면 분류에 중요한 훈련 샘플을 찾습니다. 최근에 Abbas 등[1]은 의미론적 중복 제거에 초점을 맞춘 SSL 프로토타입과 유사한 방법인 SemDeDup을 사용하여 비전 언어 모델(CLIP 모델)에서 매우 고무적인 결과를 입증했습니다. 저희 연구는 이러한 접근 방식을 결합하여 대규모 LLM에 적용했습니다.