Fig. 9: A comparison of the attention patterns in three mainstream architectures. Here, the blue, green, yellow and grey rounded rectangles indicate the attention between prefix tokens, attention between prefix and target tokens, attention between target tokens, and masked attention respectively.
그림 9: 세 가지 주류 아키텍처의 attention 패턴을 비교한 그림입니다. 여기서 파란색, 녹색, 노란색 및 회색의 둥근 직사각형은 각각 접두사 토큰 간의 attention, 접두사와 대상 토큰 간의 attention, 대상 토큰 간의 attention 및 마스킹된 attention을 나타냅니다.
그림 9: 세 가지 주류 아키텍처의 주의 패턴을 비교한 그림입니다. 여기서 파란색, 녹색, 노란색 및 회색의 둥근 직사각형은 각각 접두사 토큰 간의 주의, 접두사와 대상 토큰 간의 주의, 대상 토큰 간의 주의 및 마스킹된 주의를 나타냅니다.