mixer heads aggregate both current contextual information and long-term memory content together into a single output. Interestingly, each layer has at least a single short-range head, allowing a forward-propagation of input signal up until the output layer. We also observed an interleaving of long and short-term content retrievals throughout the forward computation.
Mixer heads는 현재의 컨텍스트 정보와 장기 메모리 콘텐츠를 모두 단일 출력으로 통합합니다. 흥미롭게도 각 layer에는 최소 하나의 단거리 head가 있어 출력 layer까지 입력 신호를 순방향 전파할 수 있습니다. 또한 순방향 계산 전반에 걸쳐 장기 및 단기 콘텐츠 retrieval이 interleaving되는 것을 관찰했습니다.
ixer 헤드는 현재의 컨텍스트 정보와 장기 메모리 콘텐츠를 모두 단일 출력으로 통합합니다. 흥미롭게도 각 레이어에는 최소 하나의 단거리 헤드가 있어 출력 레이어까지 입력 신호를 순방향 전파할 수 있습니다. 또한 순방향 계산 전반에 걸쳐 장기 및 단기 콘텐츠 검색이 인터리빙되는 것을 관찰했습니다.