Ensemble-methoden In Machine Learning: Bagging, Boosting & Random Forests
Ensembleleren = meerdere modellen combineren om elke enkele te overtreffen. Kerninzicht: diverse fouten annuleren; gedeelde signalen versterken.
Drie Pijlers
1. Bagging (Bootstrap Aggregating)
- Creëer B bootstrap-stalen (willekeurig met terugleggen)
- Train basismodel op elk
- Aggregateer: meerderheidsstem (classificatie) of gemiddelde (regressie)
- Vermindert variantie – stabiliseert onstabiele learners (bijv. diepe bomen)
- Flaggschip: Random Forest – bagging + willekeurige featuresubsets per split
2. Boosting (Sequentiële Correctie)
- Train zwakke learners sequentieel
- Elke focust op voorgangers' fouten (hergewogen data)
- Aggregateer: gewogen som
- Vermindert bias – bouwt sterke learner uit zwakke
- Varianten: AdaBoost (adaptieve gewichten), Gradient Boosting (residuals fitten), XGBoost/LightGBM/CatBoost (geoptimaliseerde implementaties)
3. Stacking (Meta-leren)
- Train diverse basismodellen
- Train meta-model op hun voorspellingen
- Vangt complementaire sterktes
Waarom Ensembles Winnen
- Lagere generalisatiefout
- Ro-bust tegen outliers/ruis
- Behandelen complexe beslissingsgrenzen
- Standaard in Kaggle-wedstrijden & productie ML
Afweging: complexiteit, rekenkracht, interpreteerbaarheid. Maar voor voorspellende kracht? Ensemble.