**Inversion and Language Model Scale.** To understand how dependent inversion results are to language model size, we consider inverting different sizes of GPT-2 (Radford et al., 2019) and show results in Table 9 (Left). Interestingly, the reconstructions perform very similarly (within 1 point of BLEU score) regardless of the size of the language model inverted. The fact that output probabilities contain similar amounts of information even after going through vastly different amounts of processing (dependent on the varying model size) differ from the findings of Dosovitskiy and Brox (2016) who note that more layers of computation make inversion more difficult in CNNs.
**Inversion and Language Model Scale.** 반전 결과가 언어 모델 크기에 얼마나 의존하는지 이해하기 위해 다양한 크기의 GPT-2(Radford et al., 2019)를 반전하는 경우를 고려하고 표 9(왼쪽)에 결과를 표시합니다. 흥미롭게도 언어 모델의 크기에 관계없이 재구성은 BLEU 점수 1점 이내로 매우 유사하게 수행됩니다. 출력 확률이 매우 다양한 양의 처리를 거친 후에도 비슷한 양의 정보를 포함한다는 사실은 다양한 모델 크기에 따라 다르지만, 더 많은 계산 레이어가 CNN에서 반전을 더 어렵게 만든다는 Dosovitskiy와 Brox(2016)의 연구 결과와는 다릅니다.
**반전 및 언어 모델 규모**. 반전 결과가 언어 모델 크기에 얼마나 의존하는지 이해하기 위해 다양한 크기의 GPT-2(Radford et al., 2019)를 반전하는 경우를 고려하고 표 9(왼쪽)에 결과를 표시합니다. 흥미롭게도 언어 모델의 크기에 관계없이 재구성은 BLEU 점수 1점 이내로 매우 유사하게 수행됩니다. 출력 확률이 매우 다양한 양의 처리를 거친 후에도 비슷한 양의 정보를 포함한다는 사실은 다양한 모델 크기에 따라 다르지만, 더 많은 계산 레이어가 CNN에서 반전을 더 어렵게 만든다는 Dosovitskiy와 Brox(2016)의 연구 결과와는 다릅니다.