Let's consider a set \(\mathcal{T}\) of sequences \((y_{i})_{i\in[1,|y|]}\) of elements taken from a vocabulary of size \(V\), representing the pretraining data. We consider a function \(\phi^{*}\) that _perfectly_ (e.g. in a bijective way) represents a given context \(y_{<i}\) as a single real vector of _infinite_ dimension. As we do not focus on \(\phi^{*}\), we can simplify the notations by introducing the contextual representations \(x_{i}^{*}=\phi^{*}(y_{<i})\).
크기 \(V\)의 어휘에서 가져온 요소의 시퀀스 \((y_{i})_{i\in[1,|y|]}\)의 집합 \(\mathcal{T}\)를 pretraining 데이터를 나타내는 것으로 간주해 보겠습니다. 주어진 컨텍스트 \(y_{<i}\)를 단일 실수 벡터로 _완벽하게_ (예: 이항 방식으로) 표현하는 함수 \(\phi^{*}\)를 _무한_ 차원으로 간주합니다. \(\phi^{*}\)에 초점을 맞추지 않으므로 문맥적 표현 \(x_{i}^{*}=\phi^{*}(y_{<i})\)를 도입하여 표기법을 단순화할 수 있습니다.
크기 \(V\)의 어휘에서 가져온 요소의 시퀀스 \((y_{i})_{i\in[1,|y|]}\)의 집합 \(\mathcal{T}\)를 전처리 데이터를 나타내는 것으로 간주해 보겠습니다. 주어진 컨텍스트 \(y_{<i}\)를 단일 실수 벡터로 _완벽하게_ (예: 이항 방식으로) 표현하는 함수 \(\phi^{*}\)를 _무한_ 차원으로 간주합니다. phi^{*}에 초점을 맞추지 않으므로 문맥적 표현 \(x_{i}^{*}=\phi^{*}(y_{<i})\)를 도입하여 표기법을 단순화할 수 있습니다.