Bagging এবং Boosting দুটোই ensemble learning technique।
অর্থাৎ একটি model-এর উপর depend না করে multiple models combine করে final prediction তৈরি করা হয়।
কিন্তু দুইটির philosophy আলাদা।
Bagging
Bagging-এর full form:
Bootstrap Aggregating
Multiple models আলাদা bootstrap samples-এ train করা হয়।
Models broadly independentভাবে train করতে পারে।
এরপর predictions combine করা হয়।
Main Goal
Variance Reduction
অর্থাৎ একটি unstable model-কে multiple versions average করে stable করা।
Classic example:
Random Forest
Simple Flow
Dataset
├─ Sample 1 → Model 1
├─ Sample 2 → Model 2
├─ Sample 3 → Model 3
└─ Sample 4 → Model 4
Predictions
↓
Vote / Average
Boosting
Boosting-এ models sequentialভাবে train হয়।
প্রতিটি new model current ensemble-এর weakness বা error improve করার চেষ্টা করে।
Flow:
Model 1
↓
Find remaining errors
↓
Model 2
↓
Find remaining errors
↓
Model 3
Examples:
AdaBoost
Gradient Boosting
XGBoost
LightGBM
CatBoost
Main Goal
Conceptually boosting:
Weak learners
→ Sequential corrections
→ Strong ensemble
অনেক ক্ষেত্রে এটি bias কমিয়ে more complex relationship learn করতে সাহায্য করে।
তবে modern boosting-এর ক্ষেত্রে শুধু:
Boosting = Bias Reduction
বলা oversimplification হতে পারে।
Regularization, depth, sampling এবং learning rate-এর উপর variance-ও depend করে।
সহজ Analogy
Bagging:
একই problem 100 জন independent expert-কে দিলাম। শেষে তাদের answers vote বা average করলাম।
Boosting:
প্রথম expert কোথায় ভুল করল সেটা দেখে দ্বিতীয় expert ওই mistakes improve করল। তারপর তৃতীয় expert remaining mistakes-এর উপর focus করল।
Bagging vs Boosting
Bagging
→ Models largely independent
→ Can train in parallel
→ Predictions average/vote
→ Mainly reduces variance
Boosting
→ Models sequential
→ Each learner improves current errors
→ Additive prediction
→ Often achieves lower bias and strong predictive accuracy
Interview-ready Explanation
Bagging and Boosting are both ensemble techniques.
Bagging trains multiple models largely independently,
usually on bootstrap samples, and combines their predictions.
Its main benefit is variance reduction.
Boosting trains models sequentially, where each new learner
attempts to improve the errors of the current ensemble.
Random Forest is a classic Bagging-based method,
while XGBoost, LightGBM, and CatBoost are Boosting methods.
সহজে মনে রাখুন:
Bagging → Independent-ish → Average → Stability
Boosting → Sequential → Correct → Improvement