Value function কোনো state থেকে শুরু করলে ভবিষ্যতে কত reward পাওয়া যেতে পারে তার estimate দেয়।
V(s) → state s কতটা ভালো
Q(s,a) → state s-এ action a নেওয়া কতটা ভালো
একটি maze-এর কোনো position goal-এর খুব কাছে হলে তার state value বেশি হতে পারে। একই position থেকে goal-এর দিকে নেওয়া action-এর Q-value অন্য action-এর তুলনায় বেশি হবে।
Value function agent-কে শুধু immediate reward নয়, future consequence বিবেচনা করতে সাহায্য করে।
V(s) একটি state-এর long-term value estimate করে, আর Q(s,a) নির্দিষ্ট state-এ নির্দিষ্ট action নেওয়ার expected long-term return estimate করে।