নামে Regression থাকলেও Logistic Regression মূলত classification problem-এ ব্যবহৃত হয়।
বিশেষ করে binary classification-এর ক্ষেত্রে:
Fraud / Not Fraud
Churn / Stay
Buy / Not Buy
প্রথমে model একটি linear score তৈরি করে:
$$z = \beta_{0} + \beta_{1}x_{1} + \ldots + \beta_{p}x_{p}$$তারপর sigmoid function ব্যবহার করে score-টিকে 0 থেকে 1-এর মধ্যে probability-তে convert করা হয়:
$$P\left( y = 1~|~x \right) = \frac{1}{1 + e^{- z}}$$তাই output:
0 থেকে 1
Example
ধরুন model predict করল:
$$P\left( \text{Fraud } = 1~|~x \right) = 0.84$$অর্থাৎ model-এর estimated probability 84%।
তারপর একটি threshold ব্যবহার করে class নির্ধারণ করা যেতে পারে।
উদাহরণ:
Threshold = 0.5
Probability >= 0.5
→ Fraud
Probability < 0.5
→ Not Fraud
তবে threshold সবসময় 0.5 হতে হবে এমন নয়।
Fraud detection-এর মতো problem-এ false positive এবং false negative-এর business cost অনুযায়ী threshold পরিবর্তন করা যেতে পারে।
Coefficient Interpretation
Logistic regression-এর coefficient সরাসরি probability change হিসেবে interpret করা ঠিক নয়।
Coefficient মূলত log-odds scale-এ কাজ করে।
একটি coefficient $\beta_{j}$ হলে:
$$e^{\beta_{j}}$$হলো corresponding odds ratio।
যদি:
$$e^{\beta_{j}} = 2$$তাহলে অন্য variables fixed রেখে feature $x_{j}$ এক unit বাড়লে odds প্রায় 2 গুণ হয়।
এটি probability 2 গুণ হওয়ার অর্থ নয়।