Kwa mujibu wa chini, ni nini mchakato Markov uamuzi?
Context:Katika hisabati, mchakato wa uamuzi wa Markov (MDP) ni mchakato wa udhibiti wa stochastic wa wakati tofauti. Ni hutoa mfumo wa hisabati kwa ajili ya modeling maamuzi katika hali ambapo matokeo ni sehemu random na sehemu chini ya udhibiti wa uamuzi maker. MDPs ni muhimu kwa ajili ya kusoma matatizo optimization kutatuliwa kupitia programu ya nguvu. MDPs walikuwa anajulikana angalau mapema kama miaka ya 1950; mwili msingi wa utafiti juu ya michakato ya uamuzi Markov ulitokana na 1960 Ronald Howard kitabu, Dynamic Programming na Markov michakato. Wao ni kutumika katika taaluma nyingi, ikiwa ni pamoja na roboti, udhibiti wa moja kwa moja, uchumi na viwanda. MDPs jina linatokana na Kirusi mwanahisabati Andrey Markov kama wao ni upanuzi wa minyororo ya Markov.
Mchakato wa uamuzi wa Markov (MDP) ni mfumo wa hisabati wa kuunda maamuzi katika kesi ambapo matokeo hayako chini ya udhibiti wa watunga maamuzi. MDPs hutumiwa katika aina mbalimbali za taaluma, kama vile robotiki na uchumi.