Markov Decision Process হলো Reinforcement Learning problem বোঝানোর একটি mathematical framework। এর প্রধান অংশ:
States
Actions
Transition probabilities
Rewards
Discount factor
Markov property-এর মূল ধারণা হলো: future predict করার জন্য বর্তমান state যথেষ্ট; পুরো অতীত আলাদাভাবে মনে রাখার প্রয়োজন নেই।
বাস্তবে state যদি প্রয়োজনীয় তথ্য ধারণ না করে, তাহলে problem আংশিক observable হয়ে যেতে পারে। যেমন self-driving car শুধু বর্তমান image দেখলে আগের কয়েক সেকেন্ডের movement information হারাতে পারে।
MDP state, action, transition ও reward ব্যবহার করে sequential decision problem formalize করে; এর Markov assumption অনুযায়ী বর্তমান state future decision-এর জন্য প্রয়োজনীয় তথ্য বহন করে।