We consider our model's ability to reconstruct specific entities from prompts that have a high likelihood of containing personal information, such as names, dates, and nationalities. To test this, we generate a synthetic dataset of prompts that contain these attributes. We edit prompts from Instructions-2M with private attributes sourced from Wikibio (Lebret et al., 2016) and Synthbio (Yuan et al., 2022)11. We invert these prompts using both our LLAMA 7B and LLAMA-chat 7B models and measure accuracy at reconstructing private entities across categories.
우리 모델의 능력을 평가하기 위해 이름, 날짜, 국적 등 개인 정보를 포함할 가능성이 높은 프롬프트에서 특정 엔티티를 재구성하는 능력을 고려합니다. 이를 테스트하기 위해 이러한 속성을 포함하는 프롬프트의 합성 데이터셋을 생성합니다. 우리는 Wikibio (Lebret et al., 2016)와 Synthbio (Yuan et al., 2022)11에서 가져온 개인 속성을 사용하여 Instructions-2M의 프롬프트를 편집합니다. 그런 다음 LLAMA 7B와 LLAMA-chat 7B 모델을 사용하여 이러한 프롬프트를 반전시키고, 카테고리별로 개인 엔티티를 재구성하는 정확도를 측정합니다.
이름, 날짜, 국적 등 개인 정보가 포함될 가능성이 높은 프롬프트에서 특정 개체를 재구성하는 모델의 능력을 고려합니다. 이를 테스트하기 위해 이러한 속성을 포함하는 프롬프트의 합성 데이터 세트를 생성합니다. 개인 정보가 포함된 프롬프트를 테스트하기 위해 Wikibio(Lebret et al., 2016)와 Synthbio(Yuan et al., 2022)11에서 가져온 개인 속성을 사용하여 Instructions-2M의 프롬프트를 수정합니다. 이러한 프롬프트를 LLAMA 7B와 LLAMA-chat 7B 모델을 모두 사용하여 반전하고 카테고리별로 개인 엔티티를 재구성하는 정확도를 측정합니다.