Models.We train models to invert the distribution of Llama-2 (7B) and Llama-2 Chat (7B) (Touvron et al., 2023). We choose this model because, as of the time of publication, it is the best-performing open-source LLM at the 7B parameter scale. We assume full access to the model output probabilities except for during the distribution extraction experiments in Section 7, in which we set temperature to \(0\) and provide a single logit bias argument.
모델. 우리는 Llama-2(7B)와 Llama-2 Chat(7B)의 분포를 반전시키기 위해 모델을 훈련합니다(Touvron et al., 2023). 이 모델을 선택한 이유는 출판 당시 7B 파라미터 규모에서 가장 성능이 뛰어난 오픈 소스 Large Language Model (LLM)이기 때문입니다. 온도를 \(0\)으로 설정하고 단일 logit bias 인수를 제공하는 섹션 7의 분포 추출 실험을 제외하고는 모델 출력 확률에 대한 완전한 액세스 권한을 가정합니다.
모델.우리는 Llama-2(7B)와 Llama-2 Chat(7B)의 분포를 반전시키기 위해 모델을 훈련합니다(Touvron et al., 2023). 이 모델을 선택한 이유는 출판 당시 7B 파라미터 규모에서 가장 성능이 뛰어난 오픈 소스 LLM이기 때문입니다. 온도를 \(0\)으로 설정하고 단일 로짓 바이어스 인수를 제공하는 섹션 7의 분포 추출 실험을 제외하고는 모델 출력 확률에 대한 완전한 액세스 권한을 가정합니다.