text: Чтобы определить марковский процесс принятия решений, нужно задать 4-кортеж ( S , A , P ⋅ ( ⋅ , ⋅ ) , R ⋅ ( ⋅ , ⋅ ) ) {\displaystyle (S,A,P_{\cdot }(\cdot ,\cdot ),R_{\cdot }(\cdot ,\cdot ))} , где S {\displaystyle S} конечное число состояний, A {\displaystyle A} конечное число действий (часто представляется в виде, A s {\displaystyle A_{s}} конечное число действий, доступных из состояния s {\displaystyle s} ), P a ( s , s ′ ) = Pr ( s t + 1 = s ′ ∣ s t = s , a t = a ) {\displaystyle P_{a}(s,s')=\Pr(s_{t+1}=s'\mid s_{t}=s,a_{t}=a)} вероятность, что действие a {\displaystyle a} в состоянии s {\displaystyle s} во время t {\displaystyle t} перейдёт в состояние s ′ {\displaystyle s'} ко времени t + 1 {\displaystyle t+1} , R a ( s , s ′ ) {\displaystyle R_{a}(s,s')} вознаграждение, получаемое после перехода в состояние s ′ {\displaystyle s'} из состояния s {\displaystyle s} с вероятностью перехода P a ( s , s ′ ) {\displaystyle P_{a}(s,s')} .