以下によれば、マルコフ決定過程とは何か。
数学において、マルコフ決定過程（MDP）は、離散時間の確率的制御過程の一つなのだ。マルコフ決定過程は、結果が部分的にランダムで、部分的に意思決定者の制御下にある状況での意思決定をモデル化するための数学的枠組みを提供するのだ。MDPは、動的計画法で解かれる最適化問題を研究するのに有用なのだ。MDPは少なくとも1950年代には知られていた。 マルコフ決定過程に関する研究の中核は、1960年に出版されたロナルド・ハワードの著書『ダイナミックプログラミングとマルコフ過程』なのだ。ロボット工学、自動制御、経済学、製造など多くの分野で利用されている。MDPの名前は、ロシアの数学者アンドレイ・マルコフに由来し、マルコフ連鎖の拡張版なのだ。
マルコフ意思決定過程（MDP）は、結果が意思決定者の完全なコントロール下にない場合の意思決定をモデル化するための数学的枠組みなのだ。MDPは、ロボット工学や経済学など様々な分野で利用されているのだ。