Github#リカレントハイウェイネットワークこれは、リカレントハイウェイネットワークのPyTorch実装です。Module#リカレントハイウェイネットワークセル(6)−(9)これは方程式を実装します。⊙要素ごとの乗算の略です。ここでは、論文の表記にいくつか変更を加えました。複数のレイヤーと混同しないように、dDlL紙の奥行きと全体の奥行きを紙の代わりに使用しています。方程式に含まれる重み行列とバイアスベクトルを線形変換に置き換えました。これが実装のようになるためです。論文に記載されているように、ウエイトタイイングを実施しています。セルのフィーチャ長です。depth#linhs​とlings​、を単一の線形レイヤーと組み合わせます。その後、linhs​lings​結果を分割しておよびのコンポーネントを取得できます。linhs​dlings​d0≤d<Dこれがおよび用です。range(depth)])#同様に、linhx​とを組み合わせますlingx​。0:#入力は、dの場合にのみ使用されます0。それぞれ奥行きのある高速道路ネットワークレイヤーから成るネットワークを作成します。hidden_size#レイヤーごとにセルを作成します。最初のレイヤーだけが直接入力を取得することに注意してください。残りのレイヤーは、下のレイヤーから入力を取得します。else:#ステートを逆にスタックして各レイヤーの状態を取得します。torch.unbind(state)#各タイムステップで最終レイヤーの出力を収集する配列。