Given the accumulated loss over the entire dataset, denoted as \(L\), and the total number of tokens, represented by \(T\), the macro token-level perplexity, denoted as \(\mathcal{P}\), is calculated as:
전체 데이터 집합에 대한 누적 Loss(L로 표시)와 총 토큰 수(T로 표시)가 주어지면 매크로 토큰 수준 Perplexity(\(\mathcal{P}\)로 표시)은 다음과 같이 계산됩니다.
전체 데이터 집합에 대한 누적 손실(L로 표시)과 총 토큰 수(T로 표시)가 주어지면 매크로 토큰 수준 난해성(mathcal{P}로 표시)은 다음과 같이 계산됩니다.