The vocabulary is built by generating 100 different words per position, e.g. a200 to a299 for the second word of entities \(a_{i}\). Then we create 10,000 entities \(a_{i}\) and 10,000 entities \(b_{j}\) by concatenating random words specific to each position. Finally, \(a_{i}\) entities are randomly mapped to \(b_{j}\), resulting in 10,000 pairs. The model is an 8-layer Transformer with a hidden size of 512. The training is continued for 500 epochs with batch size \(=1024\), learning rate \(=0.0003\), and dropout rate \(=0.1\).
어휘는 위치당 100개의 다른 단어를 생성하여 구축됩니다(예: 엔티티의 두 번째 단어 \(a_{i}\)의 경우 a200 ~ a299). 그런 다음 각 위치에 특정한 임의의 단어를 연결하여 10,000개의 엔티티 \(a_{i}\)와 10,000개의 엔티티 \(b_{j}\)를 생성합니다. 마지막으로, \(a_{i}\) 엔티티는 \(b_{j}\)에 무작위로 매핑되어 10,000쌍의 엔티티가 생성됩니다. 모델은 8층 Transformer로 숨겨진 크기는 512입니다. Batch Size \(=1024\), Learning Rate \(=0.0003\), 드롭아웃 비율 \(=0.1\)로 500회 동안 훈련을 계속합니다.
어휘는 위치당 100개의 다른 단어를 생성하여 구축됩니다(예: 엔티티의 두 번째 단어 \(a_{i}\)의 경우 a200 ~ a299). 그런 다음 각 위치에 특정한 임의의 단어를 연결하여 10,000개의 엔티티 \(a_{i}\)와 10,000개의 엔티티 \(b_{j}\)를 생성합니다. 마지막으로, \(a_{i}\) 엔티티는 \(b_{j}\)에 무작위로 매핑되어 10,000쌍의 엔티티가 생성됩니다. 모델은 8층 트랜스포머로 숨겨진 크기는 512입니다. 배치 크기 \(=1024\), 학습 속도 \(=0.0003\), 드롭아웃 비율 \(=0.1\)로 500회 동안 훈련을 계속합니다.