**Inverting deep embeddings.** Several lines of work in computer vision have shown that inputs can be approximately reconstructed from the logits of an image classifier (Mahendran and Vedaldi, 2014; Dosovitskiy and Brox, 2016; Teterwak et al., 2021) or from a self-supervised representation vector (Bordes et al., 2021). Some recent work (Takahashi et al., 2023) has shown that outputs of computer vision models may reveal private information when shared in a federated learning setup. There is also work on inverting representations in NLP: Song and Raghunathan (2020); Li et al. (2023); Morris et al. (2023) investigate the privacy leakage of text embeddings from encoder models. Morris et al. (2023) succeeds in recovering full text sequences from their embeddings by conditioning the encoder of an encoder-decoder Transformer for inversion. Ours is the first work to inversion directly from the probability outputs of language models.
**딥 임베딩 반전**. 컴퓨터 비전의 여러 연구 분야에서 이미지 분류기의 logits(Mahendran and Vedaldi, 2014; Dosovitskiy and Brox, 2016; Teterwak et al., 2021) 또는 self-supervised representation vector(Bordes et al., 2021)로부터 입력을 대략적으로 재구성할 수 있음을 보여주었습니다. 최근 연구(Takahashi et al., 2023)에서는 컴퓨터 비전 모델의 출력이 federated learning 설정에서 공유될 때 개인 정보를 노출할 수 있음을 보여주었습니다. NLP에서 표현을 반전시키는 연구도 진행되고 있습니다: Song and Raghunathan(2020); Li et al.(2023); Morris et al.(2023)은 encoder 모델에서 텍스트 임베딩의 개인 정보 유출을 조사합니다. Morris et al.(2023)은 inversion을 위해 encoder-decoder Transformer의 encoder를 조절하여 임베딩에서 전체 텍스트 시퀀스를 복구하는 데 성공했습니다. 이 연구는 언어 모델의 확률 출력에서 직접 inversion하는 최초의 연구입니다.
**딥 임베딩 반전**. 컴퓨터 비전의 여러 연구 분야에서 이미지 분류기의 로짓(Mahendran and Vedaldi, 2014; Dosovitskiy and Brox, 2016; Teterwak et al., 2021) 또는 자가 지도 표현 벡터(Bordes et al., 2021)로부터 입력을 대략적으로 재구성할 수 있음을 보여주었습니다. 최근 연구(Takahashi et al., 2023)에서는 컴퓨터 비전 모델의 출력이 연합 학습 설정에서 공유될 때 개인 정보를 노출할 수 있음을 보여주었습니다. NLP에서 표현을 반전시키는 연구도 진행되고 있습니다: Song and Raghunathan(2020); Li et al.(2023); Morris et al.(2023)은 인코더 모델에서 텍스트 임베딩의 개인 정보 유출을 조사합니다. Morris et al.(2023)은 인버전을 위해 인코더-디코더 트랜스포머의 인코더를 조절하여 임베딩에서 전체 텍스트 시퀀스를 복구하는 데 성공했습니다. 이 연구는 언어 모델의 확률 출력에서 직접 반전하는 최초의 연구입니다.