(به : ) (به اختصار: ) یک چارچوب ریاضی است برای مدل‌سازی در شرایطی که نتایج تا حدودی و تا حدودی تحت کنترل یک تصمیم‌گیر است. MDPs برای مطالعه طیف گسترده‌ای از مسائل که از طریق و حل می‌شوند مفید است. حداقل از اوایل ۱۹۵۰ میلادی MDPs شناخته شده‌است (cf. ). هسته اصلی پژوهش در فرایندهای تصمیم‌گیری مارکوف حاصل کتاب رونالد هوارد است که در سال ۱۹۶۰ . فرایندهای تصمیم‌گیری مارکوف در طیف گسترده‌ای از رشته‌ها از جمله ، و استفاده می‌شود.
 به‌طور دقیق تر، فرایندهای تصمیم‌گیری مارکوف، فرایندهای است. در هر گام، فرایند در حالت است و تصمیم‌گیر اقدام (عمل) را انتخاب می‌کند. پاسخ فرایند، رفتن به حالت جدید (در گام بعدی) به‌طور تصادفی و همچنین دادن پاداش R_a(s,s') به تصمیم‌گیر است .
 فرایندهای تصمیم‌گیری مارکوف شامل پنج عنصر است که در ادامه شرح داده می‌شود
 
 
 
 
 مسئله اصلی در MDPs پیدا کردن یک «سیاست» برای تصمیم‌گیر است. یافتن یک تابع مشخص عمل که تصمیم‌گیر در هنگامی که در حالت s است انتخاب کند . توجه داشته باشید که که افزودن یک سیاست ثابت به فرایندهای تصمیم‌گیری مارکوف منجر به یک می‌شود.
 هدف انتخاب یک سیاست که جهت به حداکثر رساندن برخی مجموع پاداش تصادفی است.
 که در آن این ضریب کاهش و است. (به عنوان مثال زمانی که ضریب کاهش r است) به‌طور معمول نزدیک به ۱ است.
 به دلیل خاصیت مارکوف، سیاست بهینه برای یک مسئله خاص را می‌توان به عنوان یک تابع از نوشت
 MDPs را می‌توان با یا حل کرد.
 فرایندهای تصمیم‌گیری مارکوف یک بازی تصادفی با تنها یک بازیکن است.
 در راه حل بالا فرض می‌شود که وقتی عمل انتخاب می‌شود که حالت شناخته شده باشد؛ در غیر این صورت را نمی‌توان حساب کرد. زمانی که این فرض درست نیست مسئله فرایندهای تصمیم‌گیری مارکوف با مشاهده پذیری جزئی یا POMDP نامیده می‌شود.
 اگر یا پاداش مشخص نباشد مسئله به عنوان شناخته می‌شود ( ).
 یکی دیگر از کاربردهای MDP یادگیری با نام یادگیری اوتوماتا شناخته می‌شود. این هم یک نوع از یادگیری تقویتی است اگر محیط به شیوه تصادفی باشد. 
 غیر از پاداش، فرایندهای تصمیم‌گیری مارکوف می‌توان به عنوان درک کرد.
 در این روش پردازش‌های تصمیم‌گیری مارکوف می‌تواند تعمیم از monoids (دسته‌ها با یک شی) را به دلخواه دسته‌بندی کنید. یکی می‌توانید تماس بگیرید و نتیجه یک چرا که در حال حرکت از یک شیء به دیگری در تغییرات در این مجموعه موجود اقدامات و مجموعه‌ای از امکان متحده است.
 در MDPs سیاست بهینه سیاستی است که جمع پاداش‌های آتی را به حداکثرمی‌رساند؛ بنابراین سیاست بهینه شامل چندین عمل است که متعلق به مجموعه متناهی از اعمال است. در فرایندهای تصمیم‌گیری مارکوف فازی (FDMPs) ابتدا تابع ارزش با فرض غیر فازی بودن محاسبه می‌شود؛ سپس توسط یک سیستم استنتاج سیاست مطلوب استخراج می‌شود. به عبارت دیگر تابع ارزش تابع به عنوان یک ورودی برای سیستم استنتاج فازی استفاده شده‌است و سیاست مطلوب، خروجی سیستم استنتاج فازی است.
{"title": "فرایندهای تصمیم‌گیری مارکوف", "link": "https://fa.wikipedia.org//w/index.php?title=%D9%81%D8%B1%D8%A7%DB%8C%D9%86%D8%AF%D9%87%D8%A7%DB%8C_%D8%AA%D8%B5%D9%85%DB%8C%D9%85%E2%80%8C%DA%AF%DB%8C%D8%B1%DB%8C_%D9%85%D8%A7%D8%B1%DA%A9%D9%88%D9%81&oldid=33458384", "language": "fa"}