Here \(\mbox{1I}[j=i_{k}]\) is \(1\) if \(j=i_{k}\) and \(0\) otherwise. If \(A\) is invertible, then this linear system can be solved to recover the logits \(z\). Unfortunately, \(A\) is not invertible: Indeed, we know that the solution cannot be unique because shifting all the logits by the same amount yields the exact same answers \(a_{i}(z,b)=a_{i}(z+\mbox{1I},b)\). That is, we expect a one-dimensional space of valid solutions to \(A\cdot\exp(z)=\mbox{0}\). To deal with this we simply add the constraint that \(z_{1}=0\) or, equivalently, \(\exp(z_{1})=1\).
여기서 \(\mbox{1I}[j=i_{k}]\)는 \(j=i_{k}\)이면 \(1\)이고 그렇지 않으면 \(0\)입니다. \(A\)가 invertible하다면 이 선형 시스템을 풀어서 logits \(z\)를 복구할 수 있습니다. 안타깝게도 \(A\)는 invertible하지 않습니다: 실제로 모든 logits을 같은 양만큼 이동하면 정확히 동일한 답 \(a_{i}(z,b)=a_{i}(z+\mbox{1I},b)\)이 나오기 때문에 해가 고유할 수 없다는 것을 알고 있습니다. 즉, 유효한 해 공간은 1차원으로 예상됩니다. 이 문제를 해결하기 위해 \(z_{1}=0\) 또는 이와 동등하게 \(\exp(z_{1})=1\)이라는 제약 조건을 추가하기만 하면 됩니다.
여기서 \mbox{1I}[j=i_{k}]\)는 \(j=i_{k}\)이면 \(1\)이고 그렇지 않으면 \(0\)입니다. A\)가 반전 가능하다면 이 선형 시스템을 풀어서 로짓 \(z\)를 복구할 수 있습니다. 안타깝게도 \(A\)는 반전할 수 없습니다: 실제로 모든 로짓을 같은 양만큼 이동하면 정확히 동일한 답 \(a_{i}(z,b)=a_{i}(z+\mbox{1I},b)\)이 나오기 때문에 해가 고유할 수 없다는 것을 알고 있습니다. 즉, 유효한 해 공간은 1차원으로 예상됩니다. 이 문제를 해결하기 위해 \(z_{1}=0\) 또는 이와 동등하게 \(\exp(z_{1})=1\)이라는 제약 조건을 추가하기만 하면 됩니다.