Github#中間アクティベーション用キャッシュ推論中、モデルはトークンごとに出力します。このシンプルなキャッシュを使ってキーと値のアテンションレイヤーを格納するので、以前のトークンでそれらを再計算する必要がありません。Any#キャッシュこれにより、キーと値のキャッシュが維持され、値のプッシュとポップが同じ順序でキューに入れられます。キューは複数のアテンションレイヤーがあるので便利です。キューの名前ですキューが存在する場合はキューのサイズを返します。