机器学习之集成学习概念介绍

概念

机器学习中的集成学习（Ensemble Learning）是一种通过组合多个模型来提高整体性能的技术。它的基本思想是将多个学习器（弱学习器）组合成一个更强大的学习器，以提高整体性能和泛化能力。集成学习可以在各种机器学习任务中使用，包括分类、回归和聚类。

核心

1. 弱学习器（Weak Learner）： 集成学习的基本组成部分，通常是性能略优于随机猜测的简单学习算法.
   弱学习器是指在解决特定问题上性能相对较差的学习模型，但仍然略优于随机猜测。弱学习器的训练可能相对简单，通常是一些简单的模型或规则，例如深度较浅的决策树。虽然单个弱学习器的性能可能有限，但它仍然能够提供一些信息或者略微超过随机猜测的水平。
2. 强学习器（Strong Learner）： 通过组合多个弱学习器而形成的更强大的学习器，其性能通常比单个弱学习器要好。
   强学习器是指在解决特定问题上具有很高性能的学习模型。这个模型通常能够在训练数据和新的未见数据上都表现出色，具有较低的训练误差和较高的泛化能力。强学习器的训练可能涉及到复杂的算法和大量的参数调整，以便更好地拟合训练数据和适应问题的复杂性。

集成学习通过组合多个弱学习器，构建出一个强学习器，以提高整体性能。这是基于"弱者联合成强者"的观点。虽然单个弱学习器可能在某些方面表现较差，但通过组合多个弱学习器，可以弥补它们的缺点，提高鲁棒性，减小方差，从而获得更好的泛化能力。

3. 投票法&