Hypothesis testing শুরু হয় দুটি competing hypothesis দিয়ে:
H₀ → Null Hypothesis
H₁ → Alternative Hypothesis
সহজভাবে:
H₀ → কোনো meaningful effect নেই
H₁ → meaningful effect আছে
তারপর sample data ব্যবহার করে আমরা দেখি কোন hypothesis-এর সাথে data বেশি consistent।
Null Hypothesis
Null Hypothesis বা $H_{0}$ সাধারণত ধরে নেয় যে কোনো effect, difference বা improvement নেই।
যেমন recommendation model-এর ক্ষেত্রে:
$$H_{0}:p_{new} = p_{old}$$অর্থাৎ:
New model এবং old model-এর CTR-এর মধ্যে
কোনো statistically significant difference নেই।
আরও সাধারণভাবে $H_{0}$ বলতে পারে:
No effect
No difference
No improvement
তবে সব hypothesis test-এ $H_{0}$-এর form একই হবে না। Problem অনুযায়ী hypothesis নির্ধারণ করতে হবে।
Alternative Hypothesis
Alternative Hypothesis বা $H_{1}$ হলো আমরা যে effect বা difference-এর evidence খুঁজছি।
যদি আমাদের specific question হয়:
নতুন model কি CTR বাড়িয়েছে?
তাহলে:
$$H_{1}:p_{new} > p_{old}$$এখানে আমরা একটি one-sided hypothesis test করছি, কারণ আমাদের interest শুধু improvement-এর দিকে।
অন্যদিকে যদি শুধু জানতে চাই:
দুই model-এর CTR কি আলাদা?
তাহলে alternative hypothesis হবে:
$$H_{1}:p_{new} \neq p_{old}$$এটি two-sided hypothesis।
সহজে মনে রাখুন
H₀ → "কোনো effect নেই"
H₁ → "effect আছে"
তবে বাস্তবে কোন statement $H_{0}$ এবং কোনটি $H_{1}$ হবে, সেটি test-এর question-এর উপর নির্ভর করে।
Significance Level
Hypothesis test করার আগে আমরা একটি threshold ঠিক করি, যাকে বলা হয় Significance Level বা $\alpha$।
সাধারণ একটি choice:
$$\alpha = 0.05$$এর অর্থ হলো, $H_{0}$ সত্য ধরে নিয়ে এমন extreme result পাওয়ার জন্য আমরা একটি 5% significance threshold ব্যবহার করছি।
এরপর sample data থেকে p-value calculate করা হয়।
সাধারণ decision rule:
p < α
↓
Reject H₀
আর:
p ≥ α
↓
Fail to reject H₀
এখানে একটি গুরুত্বপূর্ণ বিষয়:
p-value ছোট হলেই H₀ ভুল—এমন নিশ্চয়তা পাওয়া যায় না।
এটি শুধু বলে যে $H_{0}$ সত্য ধরে নিলে observed result-এর মতো বা তার চেয়ে extreme result কতটা compatible।
একটি গুরুত্বপূর্ণ wording
Statistics-এ সাধারণত আমরা বলি:
Reject the null hypothesis.
অথবা:
Fail to reject the null hypothesis.
সাধারণত এভাবে বলা ঠিক নয়:
Accept the null hypothesis as 100% true.
কারণ hypothesis testing uncertainty-এর মধ্যে decision নেওয়ার একটি framework।
আমরা data থেকে absolute certainty পাই না।