Data Science interview-এ দুইটি group-এর mean compare করা খুব common।
ধরুন:
Model A users-এর average basket value = 620 BDT
Model B users-এর average basket value = 655 BDT
Difference:
655 - 620 = 35 BDT
এখন প্রশ্ন:
35 টাকা difference কি সত্যিই meaningful difference, নাকি sample noise-এর কারণে হয়েছে?
যদি দুই group independent হয়, তাহলে একটি independent two-sample t-test ব্যবহার করা যেতে পারে।
Hypothesis:
$$H_{0}:\mu_{A} = \mu_{B}$$ $$H_{1}:\mu_{A} \neq \mu_{B}$$তারপর appropriate test statistic এবং p-value calculate করা হয়।
কিন্তু শুধু p-value যথেষ্ট নয়
ধরুন huge dataset-এর কারণে আমরা পেলাম:
Difference = 1 BDT
p-value = 0.00001
এক্ষেত্রে difference statistically significant হতে পারে।
কিন্তু business-এর দৃষ্টিতে 1 BDT improvement-এর impact প্রায় negligible হতে পারে।
তাই practical analysis-এ শুধু statistical significance নয়, আরও দেখতে হবে:
Statistical significance
+
Effect size
+
Business significance
একটি result statistically significant হলেই সেটি automatically practically important—এমন নয়।