\begin{table}
\begin{tabular}{l|l} \hline \hline \multicolumn{1}{c}{**Transformation**} & \multicolumn{1}{c}{**Training example**} \\ \hline None & Cruise was born on July 3, 1962, in Syracuse, New York, to Mary \\  & Lee Pfeiffer. \\ \hline Word reversal & Preiffer Lee Mary to, York New, Syracuse in, 1962, 3 July on born \\  & was Cruise \\ \hline Entity-preserving reversal & Mary Lee Pfeiffer to, Syracuse, New York in, 1962, 3 July on born \\  & was Cruise \\ \hline Random segment reversal & [REV] York, to Mary Lee Pfeiffer. [REV] in Syracuse, New [REV] \\  & on July 3, 1962, [REV] born [REV] Cruise was \\ \hline \hline \end{tabular}
\end{table}
Table 2: **Reversal transformations: examples of different reversal types on a given string. In practice, training examples can be much longer (e.g., entire documents during pre-training). The language model is still trained left-to-right on such transformations, and in the word reversal case is essentially predicting the sentence backwards (right-to-left) starting from the last word. The entities which have their word ordering preserved are highlighted by underlines. In random segment reversal, the segments are separated by “[REV]”. _Reverse training_ on both the standard (”None” transformation) and reversed examples, hence doubling the amount of training tokens.
\begin{table}
\begin{tabular}{l|l} \hline \hline \multicolumn{1}{c}{**Transformation**} & \multicolumn{1}{c}{**Training example**} \\ \hline None & 크루즈는 1962년 7월 3일 뉴욕주 시러큐스에서 메리 \\ & 리 파이퍼. \\ \hline Word reversal & Preiffer Lee Mary to, 뉴욕주 시러큐스, 1962년 7월 3일생 \\ & was Cruise \\ \hline Entity-preserving reversal & Mary Lee Pfeiffer to, 뉴욕주 시러큐스, 1962년 7월 3일생 \\ & was Cruise \\ \hline Random segment reversal & [REV] 뉴욕, 메리 리 파이퍼에게. [REV] 시러큐스에서, 뉴욕 [REV] \\ & 1962년 7월 3일, [REV] 크루즈가 [REV] 태어났습니다 \\ \hline \hline \end{tabular}
\end{table}
표 2: **Reversal transformations: 주어진 문자열에 대한 다양한 역변환 유형의 예시. 실제로 Training examples는 훨씬 더 길 수 있습니다(예: 사전 훈련 중 전체 문서). The language model은 이러한 변환에 대해 여전히 왼쪽에서 오른쪽으로 훈련되며, 단어 반전의 경우 마지막 단어부터 시작하여 문장을 거꾸로(오른쪽에서 왼쪽으로) 예측하는 것입니다. 단어 순서가 유지되는 엔티티는 밑줄로 강조 표시됩니다. 무작위 세그먼트 반전의 경우 세그먼트는 "[REV]"로 구분됩니다. 표준("None" 변환)과 반전된 예제 모두에 대해 _Reverse training_을 수행하여 훈련 토큰의 양을 두 배로 늘립니다.
\begin{table}
\begin{tabular}{l|l} \hline \hline \multicolumn{1}{c}{**변환**} & \multicolumn{1}{c}{**훈련 예시**} \\ \hline 없음 & 크루즈는 1962년 7월 3일 뉴욕주 시러큐스에서 메리 \\ & 리 파이퍼. \\ \hline 단어 반전 & Preiffer Lee Mary to, 뉴욕주 시러큐스, 1962년 7월 3일생 \\ & was Cruise \\ \hline 엔티티 보존 반전 & Mary Lee Pfeiffer to, 뉴욕주 시러큐스, 1962년 7월 3일생 \\ & was Cruise \\ \hline 무작위 세그먼트 반전 & [REV] 뉴욕, 메리 리 파이퍼에게. [REV] 시러큐스에서, 뉴욕 [REV] \\ & 1962년 7월 3일, [REV] 크루즈가 [REV] 태어났습니다 \\ \hline \hline \end{tabular}
\end{table}
표 2: **역변환: 주어진 문자열에 대한 다양한 역변환 유형의 예시. 실제로 훈련 예는 훨씬 더 길 수 있습니다(예: 사전 훈련 중 전체 문서). 언어 모델은 이러한 변환에 대해 여전히 왼쪽에서 오른쪽으로 훈련되며, 단어 반전의 경우 마지막 단어부터 시작하여 문장을 거꾸로(오른쪽에서 왼쪽으로) 예측하는 것입니다. 단어 순서가 유지되는 엔티티는 밑줄로 강조 표시됩니다. 무작위 세그먼트 반전의 경우 세그먼트는 "[REV]"로 구분됩니다. 표준("없음" 변환)과 반전된 예제 모두에 대해 _역방향 훈련_을 수행하여 훈련 토큰의 양을 두 배로 늘립니다.