Github#ゲーテッドリニアユニットとバリアントこれにより、自動回帰用の単純なトランスフォーマーモデルがトレーニングされます。位置ごとのフィードフォワードネットワークにはさまざまなバリエーションを試します。これはモジュールを使わないより単純な実装です。慣れていない読者にもわかりやすいように、よりシンプルな実装を作成することにしました。encoder#次のトークン生成レイヤー。generator#これは最初の呼び出しで初期化されます。torch.Tensor):#次のマスクを作成して、トランスフォーマーが過去のトークンにしか注目できないようにします。dtype=torch.long)#データセットのサンプル数。つのエポックでデータセットの回数が読み取られます。トランスエンコーダーと線形層で初期化し、ロジットを生成します。nn.CrossEntropyLoss()#トレーニングエポックの数。