* **Entity-preserving reversal** (\(\text{REVERSE}_{entity}\)): We run an entity detector over a given training sample3, which also splits the non-entities into words. We then reverse the words, but keep the word-order of entities in their original left-to-right order. The string is then joined as before with spaces. See Table 2 for an example. Footnote 3: We use the flair/ner-english-large model for entity detection (Schweter & Akbik, 2020). * **Random segment reversal** (\(\text{REVERSE}_{rand}\)): Instead of running a relatively costly segmentation such as an entity detector, we experiment with randomly segmenting the sequence into chunks of size between 1 and \(k\) tokens using uniform sampling. We then reverse the segments, but keep the word order within each segment in their original left-to-right order. The segments are then joined with a special token "[REV]", which indicates the end of left-to-right prediction for the given segment. During training epochs, each time the example is seen we perform a different random segmentation to increase diversity. See Table 2 (last row) for an example.
* **엔티티 보존 역전** (\(\text{REVERSE}_{entity}\)): 주어진 학습 샘플에 대해 엔티티 감지기를 실행하여 비엔티티를 단어로 분할합니다. 그런 다음 단어를 역전시키지만, 엔티티의 단어 순서는 원래의 왼쪽에서 오른쪽 순서를 유지합니다. 그런 다음 문자열을 이전과 같이 공백으로 결합합니다. 예시는 Table 2를 참조하십시오. 주석 3: 엔티티 감지를 위해 flair/ner-english-large 모델을 사용합니다 (Schweter & Akbik, 2020). 
* **랜덤 세그먼트 역전** (\(\text{REVERSE}_{rand}\)): 엔티티 감지기와 같은 비교적 비용이 많이 드는 세그멘테이션을 실행하는 대신, 균일 샘플링을 사용하여 시퀀스를 1에서 \(k\) 토큰 크기의 청크로 무작위로 분할하는 실험을 합니다. 그런 다음 세그먼트를 역전시키지만, 각 세그먼트 내의 단어 순서는 원래의 왼쪽에서 오른쪽 순서를 유지합니다. 세그먼트는 주어진 세그먼트의 왼쪽에서 오른쪽 예측이 끝났음을 나타내는 특수 토큰 "[REV]"로 결합됩니다. 학습 에포크 동안, 예제가 볼 때마다 다른 무작위 세그멘테이션을 수행하여 다양성을 증가시킵니다. 예시는 Table 2 (마지막 행)를 참조하십시오.
* **엔티티 보존 리버스** (\(\text{REVERSE}_{entity}\)): 주어진 훈련 샘플3에 대해 엔티티 감지기를 실행하여 비엔티티도 단어로 분할합니다. 그런 다음 단어를 뒤집되 엔티티의 단어 순서는 원래의 왼쪽에서 오른쪽 순서로 유지합니다. 그런 다음 문자열은 이전과 같이 공백으로 결합됩니다. 예는 표 2를 참조하세요. 각주 3: 엔티티 감지에는 flair/ner-english-large 모델을 사용합니다(Schweter & Akbik, 2020). * **무작위 세그먼트 반전** (\(\text{REVERSE}_{rand}\)): 엔티티 감지기와 같이 비교적 비용이 많이 드는 세분화를 실행하는 대신 균일한 샘플링을 사용하여 시퀀스를 1에서 \(k\) 토큰 크기의 청크로 무작위로 세분화하는 실험을 수행합니다. 그런 다음 세그먼트를 반전시키되 각 세그먼트 내의 단어 순서는 원래의 왼쪽에서 오른쪽 순서로 유지합니다. 그런 다음 세그먼트는 특수 토큰 "[REV]"로 결합되며, 이는 주어진 세그먼트에 대한 왼쪽에서 오른쪽으로의 예측이 끝났음을 나타냅니다. 훈련 에포크 동안 예제가 표시될 때마다 다양성을 높이기 위해 다른 무작위 세분화를 수행합니다. 예는 표 2(마지막 행)를 참조하세요.