Fig. 29: : Illustration of a Switch Transformer encoder block. They replaced the dense feed forward network (FFN) layer present in the Transformer with a sparse Switch FFN layer (light blue).. Courtesy of [131].
그림 29: Switch Transformer Encoder 블록의 예시. Transformer에 존재하는 고밀도 Feed Forward Network (FFN) 레이어를 희소 Switch FFN 레이어(연한 파란색)로 대체했습니다. [131]의 [그림].
그림 29: 스위치 트랜스포머 인코더 블록의 예시. 트랜스포머에 존재하는 고밀도 피드 포워드 네트워크(FFN) 레이어를 희소 스위치 FFN 레이어(연한 파란색)로 대체했습니다. [131]의 [그림].