QQ値の計算にはデュエルネットワークを使用しています。デュエルネットワークアーキテクチャの背後にある直感は、ほとんどの州ではアクションは重要ではなく、一部の州ではアクションが重要であるということです。デュエルネットワークでは、これを非常によく表現できます。つのネットワークから取得します。Q(s,a)=V(s)+(A(s,a)−∣A∣1​a′∈A∑​A(s,a′))VAとネットワークの初期レイヤーを共有します。nn.Sequential(#84×84最初の畳み込み層はフレームを取り、フレームを生成します。番目の畳み込み層は、20×20フレームを取得してフレームを生成します。番目の畳み込み層は、9×9フレームを取得してフレームを生成します。番目のコンボリューションレイヤーからフラット化されたフレームを取り出し、フィーチャを出力します。