Simpson’s Paradox প্রথমে একটু confusing মনে হতে পারে। তবে একটি simple example দেখলে বিষয়টি পরিষ্কার হয়ে যাবে।
ধরুন, আমরা দুইটি restaurant-এর delivery success rate compare করছি।
Lunch এবং Dinner আলাদাভাবে দেখলে ফলাফল হলো:
Lunch:
Restaurant A → 90%
Restaurant B → 80%
Dinner:
Restaurant A → 70%
Restaurant B → 60%
অর্থাৎ দুইটি segment-এই:
Restaurant A > Restaurant B
এখন মনে হতে পারে overall success rate-ও অবশ্যই A-এর বেশি হবে।
কিন্তু সব order একসাথে combine করার পর দেখা গেল:
Restaurant B-এর overall success rate বেশি।
কীভাবে এমন হতে পারে?
মূল কারণ: Group Distribution
সমস্যাটি restaurant-এর performance-এ নয়, বরং কোন restaurant কত ধরনের order পেয়েছে তার distribution-এ।
ধরুন:
Restaurant A
Lunch → 100 orders
Dinner → 900 orders
অন্যদিকে:
Restaurant B
Lunch → 900 orders
Dinner → 100 orders
এখানে A-এর অধিকাংশ order এসেছে difficult dinner hours-এ।
অন্যদিকে B-এর অধিকাংশ order এসেছে relatively easy lunch hours-এ।
তাই দুই restaurant-কে segment অনুযায়ী compare করলে:
Lunch:
A → 90%
B → 80%
Dinner:
A → 70%
B → 60%
A প্রতিটি segment-এই better।
কিন্তু overall rate হিসাব করার সময় দুই restaurant-এর order distribution আলাদা হওয়ায় aggregate result উল্টো হয়ে যেতে পারে।
এটাই Simpson’s Paradox।
সহজভাবে মনে রাখুন
Segment level
→ A better than B
Aggregate level
→ B better than A
অর্থাৎ:
একই data-র subgroup এবং overall result একে অপরের বিপরীত হতে পারে।
এখানে মূল বিষয় হলো group composition বা data distribution।
Lesson
শুধু overall metric দেখে সিদ্ধান্ত নেওয়া উচিত নয়।
প্রয়োজনে গুরুত্বপূর্ণ segment অনুযায়ী data breakdown করতে হবে।
যেমন:
Zone
Hour
Customer type
Device
Restaurant type
New vs old users
তারপর দেখতে হবে overall result এবং subgroup result-এর মধ্যে কোনো গুরুত্বপূর্ণ difference আছে কি না।
Interview Relevance
Simpson’s Paradox বাস্তব data analysis-এ গুরুত্বপূর্ণ হতে পারে, বিশেষ করে:
A/B Testing
Recommendation Systems
Marketing Analysis
Product Analytics
Medical Studies
Business Analytics
যখন aggregate metric এবং subgroup metric-এর মধ্যে unexpected difference দেখা যায়, তখন data segmentation করে analysis করা গুরুত্বপূর্ণ।