به زبان ساده، یعنی محل بعدی یک بدون حافظه را فقط با دانستن محل فعلی آن می‌توان براورد.
 ریاضیدان روسی به نام اندیشید که قدم بعدی یک مجنون در یک محوطه باز، فقط به قدم فعلی او وابسته است. سپس فرایند مارکوف را تعریف و کمی سازی کرد.
 دنباله‌ای از را در نظر گرفته و فرض کنید مجموعه مقادیر ممکن که این متغیرها انتخاب می‌کنند برابر با باشد. اگر را به عنوان حالتی از یک سیستم در لحظه در نظر گرفته و چنین تفسیر کنیم که سیستم در لحظه در حالت است هرگاه باشد آنگاه دنباله متغیرهای تصادفی اصطلاحاً تشکیل یک زنجیر مارکف می‌دهد. اگر هروقت سیستم در حالت است با احتمال ثابتی که ان را می‌نامیم به حالت تغییر حالت دهد. برای همه مقادیر داریم :
 
 اگر این احتمال‌ها را درون یک ماتریس قرار دهیم ماتریسی به شکل زیر بدست میآد که به آن ماتریس احتمال انتقال transition probability matrix یا مارکف گویند.
 اگر به سطر i+۱ ام نگاه کنیدتوزیع احتمالX_{n+۱} را به شرط آنکه X_n =i باشد به شما نشان می‌دهد.
 ۱ - مجموع متغیرهای تصادفی و مستقل همتوزیع (قدم زدن تصادفی کلی):
فر ض کنید مستقل و همتوزیع باشد
 
باشند اگر فرض کنید
 
آنگاه یک فرایند مارکف است که برای آن قدم تصادفی کلی گوییم
این نوع در مسایل بسیاری کار برد دارند برای مثال در مدل بندی بردهای قمارباز یا در قیمت‌های متوالی شرکت معینی که در فهرست شده‌اند. هم چنین در تحلیل سیستم‌های صف بندی ورشکستگی کاربرد دارند.
۲-قدم زدن تصادفی ساده: قدم زدن
 که در آن
 
 را ساده گوییم اگر Pیی موجود باشد به قسمی که
 
 بنابراین در فرایند قدم زدن تصادفی همیشه۱ پله با احتمال به بالا می‌رود و با احتمال به پایین می‌آید.
قضیه: اگر زنجیر مارکف باشد به‌علاوه اگر P ماتریس احتمال انتقال ۱ مرحله‌ای باشد نشان می‌دهیم که ماتریس احتمال انتقال n مرحله‌ای خواهد بود.
اثبات: اثبات به روش استقراست ابتدا برای n=۲ ثابت می‌کنیم
 
 با توجه به هر مرحله فقط به یکی قبل از خود بستگی دارد
 
 
 اگر احتمال تغییر وضعیت n مرحله‌ای را برابر بگیریم داریم:
 
 با توجه به قضیه بالا داریم:
 
 وضعیت j در دسترس وضعیت i نامیم و با
 
 
 
 اگر
 
 j در دسترس i است.
 وضعیت iوj را مرتبط می‌نامیم اگر و تنها اگر j در دسترس iو iدر دسترس j باشد
مرتبط بودن را با نماد مشخص می‌کنیم
 مرتبط بودن یک است.
 بدیهی است چون 
مرتبط بودن دارای خاصیت بازتابی است.
 
 
 
 
 
 
 
بنا بر این مرتبط بودن یک کلاس هم‌ارزی است.
 
 
 
 
 فرایندهای تصادفی / شلدون. م. راس/ترجمه عین‌الله پاشا / تهران/۱۳۸۵
{"title": "فرایند مارکوف", "link": "https://fa.wikipedia.org//w/index.php?title=%D9%81%D8%B1%D8%A7%DB%8C%D9%86%D8%AF_%D9%85%D8%A7%D8%B1%DA%A9%D9%88%D9%81&oldid=33842051", "language": "fa"}