where \(TV(a,b):=\sum_{j}|a_{j}-b_{j}|\) is the total-variation distance and the expectation is over the randomness in \(q_{T}\). An asset here is that (Berend and Kontorovich, 2012) can be used to control the quantities \(\operatorname{\mathbb{E}}\left[TV(q_{T}(\cdot\mid i),p(\cdot\mid i))\right]\). Note that TV is upper-bounded by the square-root of KL-divergence, thanks to _Pinker's inequality_. This gives indication that our results could also apply in the setting of autoregressive models with perplexity loss, like LLMs.
여기서 \(TV(a,b):=\sum_{j}|a_{j}-b_{j}|\)는 total-variation distance이고, 기대값은 \(q_{T}\)의 무작위성에 대한 것입니다. 여기서 자산은 (Berend and Kontorovich, 2012)를 사용하여 수량 \(\operatorname{\mathbb{E}}\left[TV(q_{T}(\cdot\mid i),p(\cdot\mid i))\right]\)를 제어할 수 있다는 것입니다. TV는 _Pinker's inequality_ 덕분에 KL-divergence의 제곱근으로 상한을 제한합니다. 이는 우리의 결과가 LLM과 같이 perplexity loss가 있는 autoregressive 모델의 설정에도 적용될 수 있음을 시사합니다.
여기서 \(TV(a,b):=\sum_{j}|a_{j}-b_{j}|\)는 총 변동 거리이고, 기대값은 \(q_{T}\)의 무작위성에 대한 것입니다. 여기서 자산은 (Berend and Kontorovich, 2012)를 사용하여 수량 \(\operatorname{\mathbb{E}}\left[TV(q_{T}(\cdot\mid i),p(\cdot\mid i))\right]\)를 제어할 수 있다는 것입니다. TV는 핑커의 부등식_ 덕분에 KL-발산의 제곱근으로 상한을 제한합니다. 이는 우리의 결과가 LLM과 같이 당혹감 손실이 있는 자동 회귀 모델의 설정에도 적용될 수 있음을 시사합니다.