Er zijn verschillende soorten ensemblemethoden, waaronder:
- In zakken doen (Bootstrap-aggregatie): Bagging is een ensemblemethode die meerdere bootstrapped samples uit de trainingsgegevens maakt. Elk bootstrapped monster wordt gebruikt om een basismodel te trainen, en de voorspellingen van de basismodellen worden vervolgens gemiddeld om de uiteindelijke voorspelling te doen.
- Boosten (adaptief stimuleren): Boosting is een ensemblemethode die basismodellen opeenvolgend traint. Elk basismodel wordt getraind op dezelfde trainingsgegevens, maar de gegevens worden opnieuw gewogen nadat elk model is getraind. De datapunten die door het vorige model verkeerd zijn geclassificeerd, krijgen een hoger gewicht, zodat de volgende modellen zich op deze datapunten concentreren.
- Willekeurige bossen: Willekeurige bossen zijn een ensemblemethode die een reeks beslissingsbomen bouwt. Elke beslissingsboom wordt getraind op een andere subset van de trainingsgegevens, en de uiteindelijke voorspelling wordt gedaan door middel van meerderheidsstemming of door het middelen van de voorspellingen van de individuele beslissingsbomen.
Ensemblemethoden zijn vaak nauwkeuriger dan afzonderlijke modellen, omdat ze kunnen helpen de variantie en vertekening van het model te verminderen. Ze kunnen ook worden gebruikt om de robuustheid van het model te verbeteren, omdat ze kunnen helpen voorkomen dat het model overmatig wordt aangepast aan de trainingsgegevens.