We now analyze the efficacy of this attack across a wider range of models: GPT-2 (Radford et al., 2019) Small and XL, Pythia (Biderman et al., 2023) 1.4B and 6.9B, and LLaMA (Touvron et al., 2023) 7B and 65B. The results are in Table 2: our attack recovers the embedding size nearly perfectly, with an error of 0 or 1 in five out of six cases.
이제 우리는 더 넓은 범위의 모델에 걸쳐 이 공격의 효능을 분석합니다: GPT-2 (Radford et al., 2019) Small 및 XL, Pythia (Biderman et al., 2023) 1.4B 및 6.9B, 그리고 LLaMA (Touvron et al., 2023) 7B 및 65B. 결과는 Table 2에 나와 있습니다: 우리의 공격은 여섯 가지 경우 중 다섯 가지에서 오류가 0 또는 1인 거의 완벽하게 임베딩 크기를 복구합니다.
이제 더 광범위한 모델에서 이 공격의 효과를 분석합니다: GPT-2(Radford et al., 2019) Small 및 XL, Pythia(Biderman et al., 2023) 1.4B 및 6.9B, LLaMA(Touvron et al., 2023) 7B 및 65B입니다. 그 결과는 표 2에 나와 있습니다. 우리의 공격은 임베딩 크기를 거의 완벽하게 복구하며, 6개 중 5개의 경우 오차가 0 또는 1입니다.