几种adaboost算法的比较

jack

关于boost算法

boost算法是基于PAC学习理论（probably approximately correct）而建立的一套集成学习算法(ensemble learning)。其根本思想在于通过多个简单的弱分类器，构建出准确率很高的强分类器，PAC学习理论证实了这一方法的可行性。下面关于几种Boost算法的比较，是基于文章《Additive Logistic Regression a Statistical
View of Boosting》整理的。
　　几种boost算法步骤

通常使用最多的应该是离散的Adaboost算法(Discrete AdaBoost),主要因为它的简单却不俗的表现，Discrete Adaboost算法的步骤如下：

　　可以看出，Discrete AdaBoost的每一个弱分类的输出结果是1或-1，并没有属于某个类的概率，略显粗糙。
　　如果让每个弱分类器输出样本属于某个类的概率，则可以得到Real AdaBoost算法，其步骤如下：

　　Real Adaboost每个弱分类器输出样本属于某类的概率后，通过一个对数函数将0-1的概率值映射到实数域，最后的分类器是所有映射函数的和。
　　将Real Adaboost算法每次迭代的两部合并，直接产生一个映射到实数域的函数，则就成了Gentle AdaBoost， 其算法步骤如下：

　　Gentle AdaBoost则在每次迭代时，基于最小二乘去做一个加权回归，最后所有回归函数的和作为最终的分类器。
　　LogitBoost算法则和Gentle AdaBoost算法有点相像，不过其每次进行回归拟合的变量z是在不断更新的，Gentle AdaBoost使用的是y。LogitBoost算法步骤如下：

4种boost算法的原理差异

上面4中boost算法，其大体结构都是比较相似的，那么是如何推导出每种算法的具体形式的呢？
　　首先是关于损失函数（或代价函数），通常见到比较多的是均方误差和似然函数，而上面的算法中，Discrete AdaBoost、Real AdaBoost和Gentle AdaBoost算法都是采用对数损失函数，具体形式如下：
J(F)=Ee(−yF(x))J(F)=Ee(−yF(x))
其表达的意义实质上与分类错误个数是相同的。
　　而Logit Boost算法则采用最大化对数似然函数来推导的。
　　第二点是具体优化方法，Discrete AdaBoost与Real AdaBoost主要通过类似梯度下降的方法来优化，而Gentle AdaBoost与Logit Boost都是采用类似牛顿迭代的方式优化的。
　　算法的效果差异

在前面提到的参考文章中，对几种算法的效果进行了大量比较，大致如下;
整体效果而言，效果由好到差的顺序为Logit Boost，Gentle AdaBoost， Real AdaBoost， Discrete AdaBoost若弱分类器采用树桩模型（也就是只要2个叶子节点的决策树），Discrete AdaBoost的结果比其他3种算法结果差了很多，大概是由于系统偏差过大导致的泛化误差较大若弱分类器采用多层的决策树（4或8个叶子节点），Discrete AdaBoost的结果能有较大提升，而其他3种算法则差异不大。
　　平时我们所用的AdaBoost算法大多是Discrete AdaBoost，从这里可以看出Discrete AdaBoost算法模型相对比较简单，需要弱分类器的精确度稍高，因此在具体应用时最好将每个弱分类器的叶子节点控制在4个或8个。
　　关于Boost算法还有很多比较有趣的结论，这里不多讲，可以参考上面的那篇Paper