**APL-Based Logits Extraction.** Here we examine our ability to recover the next-token probability distribution. We simulate an API with a 'logit bias' argument and argmax outputs using a local LLAMA-2 model. We visualize results of our technique (blue) vs. a naive Monte Carlo sample baseline (red) in Figure 4 (left). Our deterministic algorithm extracts useful logits in fewer queries than the Monte Carlo baseline. This result follows our hypothesis (Section 3.1) that useful information is contained in the probabilities of very unlikely words, which almost never occur during random sampling.
**APL 기반 Logits 추출.** 여기서는 다음 토큰 확률 분포를 복구하는 능력을 살펴봅니다. 로컬 LLAMA-2 모델을 사용하여 'logit bias' 인수와 argmax 출력이 있는 API를 시뮬레이션합니다. 그림 4(왼쪽)에서 우리 기법의 결과(파란색)와 나이브 Monte Carlo 샘플 baseline(빨간색)을 비교하여 보여줍니다. 결정론적 알고리즘은 Monte Carlo baseline보다 더 적은 쿼리 수로 유용한 logits을 추출합니다. 이 결과는 무작위 샘플링 중에 거의 발생하지 않는 매우 가능성이 낮은 단어의 확률에 유용한 정보가 포함되어 있다는 가설(섹션 3.1)을 따릅니다.
**APL 기반 로짓 추출.** 여기서는 다음 토큰 확률 분포를 복구하는 능력을 살펴봅니다. 로컬 LLAMA-2 모델을 사용하여 '로짓 바이어스' 인수와 argmax 출력이 있는 API를 시뮬레이션합니다. 그림 4(왼쪽)에서 우리 기법의 결과(파란색)와 나이브 몬테카를로 샘플 기준선(빨간색)을 비교하여 보여줍니다. 결정론적 알고리즘은 몬테카를로 기준선보다 더 적은 쿼리 수로 유용한 로짓을 추출합니다. 이 결과는 무작위 샘플링 중에 거의 발생하지 않는 매우 가능성이 낮은 단어의 확률에 유용한 정보가 포함되어 있다는 가설(섹션 3.1)을 따릅니다.