pe#変圧器層これは、エンコーダ層またはデコーダ層として機能できます。論文を含む一部の実装では、層の正規化が行われる場所に違いがあるようです。ここでは、アテンションネットワークとフィードフォワードネットワークの前に層の正規化を行い、元の残差ベクトルを追加します。別の方法は、残差を追加した後に層の正規化を行うことです。トレーニング中は安定性が低いことがわかりました。これについての詳細な議論は、「トランスフォーマーアーキテクチャにおける層正規化について」という論文に記載されています。self.norm_self_attn(x)#自己注意を向ける。self.dropout(self_attn)#ソースが提供されている場合は、ソースに注目して結果を取得します。これは、エンコーダー出力に注目するデコーダーレイヤーがある場合です。self.norm_src_attn(x)#ソースに注意。mask=mask)#最後に、ベクトルを正規化します。src_mask=src_mask)#最後に、ベクトルを正規化します。使用している場合はこれは必要ありませんnn.CrossEntropyLoss。generator#これは彼らのコードからすると重要でした。使用してパラメーターを初期化します。