Parameterization.We consider one alternative model architecture, an encoder-decoder with projection as in Morris et al. (2023). This model performs quite poorly, indicating that projecting the probability vector down to a smaller rank discards significant information. We also test an identical parameterization that conditions on the raw outputs of the language model instead of log-normalized probabilities to determine if un-normalized outputs contain more usable information than the probabilities. This removal also makes a difference: without applying the softmax to the inputs, we observe over a \(20\%\) drop in BLEU.
매개변수화. Morris et al.(2023)과 같은 projection이 있는 encoder-decoder의 대체 모델 아키텍처를 하나 고려합니다. 이 모델은 매우 빈약한 성능을 보여 주며, 이는 확률 벡터를 더 작은 순위로 투영하면 상당한 정보가 손실됨을 나타냅니다. 또한 log-normalized 확률 대신 언어 모델의 원시 출력에 조건을 붙이는 동일한 parameterization을 테스트하여 정규화되지 않은 출력이 확률보다 더 많은 사용 가능한 정보를 포함하는지 확인합니다. 이 제거도 차이를 만듭니다. 입력에 softmax를 적용하지 않으면 BLEU가 20% 이상 떨어지는 것을 관찰할 수 있습니다.
매개변수화.Morris et al.(2023)과 같은 프로젝션이 있는 인코더-디코더의 대체 모델 아키텍처를 하나 고려합니다(2023). 이 모델은 매우 빈약한 성능을 보여 주며, 이는 확률 벡터를 더 작은 순위로 투영하면 상당한 정보가 손실됨을 나타냅니다. 또한 로그 정규화 확률 대신 언어 모델의 원시 출력에 조건을 붙이는 동일한 매개변수화를 테스트하여 정규화되지 않은 출력이 확률보다 더 많은 사용 가능한 정보를 포함하는지 확인합니다. 이 제거도 차이를 만듭니다. 입력에 소프트맥스를 적용하지 않으면 BLEU가 \(20\%\) 이상 떨어지는 것을 관찰할 수 있습니다.