我们可以利用 Bellman 公式将上面的不等式展开,得到
      Vs E S,a E A - 7r*(s), l二 P (巾,作* ( s ))凡( s') ~ l二 P(s'Js , a)Vrr• (s')
     如果用列向 量 Ps , a 表示由 P(s'ls ,俨( s ))组成的向 量 ,用列向 量 V 表示由 1午( s')
组成的向 量 ,那么公式就可以 变为
                                   Ps,rr•(s) V ~ Ps ,aV
     这个公式里的值函数 V 是未知的,但好在可以用 Bellman 公式进行求解 :