Which components of the distribution does the inverter need?To investigate whether our model focuses most on the largest components of its input, we iteratively remove (set to the mean) \(k\) components from the probability vector in both ascending and descending order. We also consider removing all but a random subset of \(k\) components from the input. Figure 4 highlights the difference in reconstruction performance across levels of component removal. It appears that the model focuses more on the more likely words. In particular, the smallest \(k\) probabilities are only slightly more useful than a random \(k\). Reconstruction is poor in general until almost the entire distribution is re-included.
분포의 어떤 구성 요소가 인버터에 필요합니까? 우리의 모델이 입력의 가장 큰 구성 요소에 주로 집중하는지 조사하기 위해, 우리는 확률 벡터에서 \(k\) 개의 구성 요소를 오름차순 및 내림차순으로 반복적으로 제거(평균으로 설정)합니다. 또한 입력에서 무작위로 선택된 \(k\) 개의 구성 요소를 제외한 모든 것을 제거하는 경우도 고려합니다. Figure 4는 구성 요소 제거 수준에 따른 재구성 성능의 차이를 강조합니다. 모델이 더 가능성이 높은 단어에 더 집중하는 것으로 보입니다. 특히, 가장 작은 \(k\) 개의 확률은 무작위 \(k\) 개보다 약간 더 유용할 뿐입니다. 거의 전체 분포가 다시 포함될 때까지 재구성은 일반적으로 저조합니다.
인버터에 필요한 분포의 구성 요소는 무엇인가요?모델이 입력의 가장 큰 구성 요소에 가장 집중하는지 조사하기 위해 확률 벡터에서 오름차순과 내림차순으로 반복적으로 \(k\) 구성 요소를 제거(평균으로 설정)합니다. 또한 입력에서 무작위 하위 집합인 \(k\) 구성 요소를 제외한 모든 구성 요소를 제거하는 것도 고려합니다. 그림 4는 구성 요소 제거 수준에 따른 재구성 성능의 차이를 강조합니다. 모델이 더 가능성이 높은 단어에 더 집중하는 것으로 보입니다. 특히 가장 작은 \(k\) 확률은 무작위 \(k\)보다 약간 더 유용합니다. 거의 전체 분포가 다시 포함될 때까지 일반적으로 재구성이 좋지 않습니다.