固定長のコンテキストを超えた注意深い言語モデルの実装です。アテンションスパンは、並行してトレーニングされたシーケンスの長さと同じくらいの制限があります。これらの位置はすべて固定された位置エンコーディングになっています。XLは、事前に計算された過去の埋め込みに各ポジションに注目させることで、このアテンションスパンを増やします。コンテキストの長さがの場合l、l前のバッチの長さのすべてのレイヤーの埋め込みを保持し、それらを現在のステップに送ります。固定位置エンコーディングを使用すると、これらの事前に計算された埋め込みは現在のコンテキストと同じ位置になります。注釈付き実装が導入されました。ShakespeareデータセットでトランスフォーマーXLモデルをトレーニングするためのトレーニングコードとノートブックです。レイヤートランスフォーマーXLモデルは、これらのレイヤーを多数備えています。torch.Tensor):#次のシーケンシャルバッチのメモリとなるトークンレベルの特徴ベクトルを格納するリスト。mask=mask)#最後に、ベクトルを正規化します。