集成学习常见问题总览


检索关键词boosting bagging rf gbdt xgboost adaboost lightgbm

1、随机森林和GBDT思想? Bagging 和boosting。

2、Boosting和bagging谁的树深要设置的小一些为什么
boosting的树深度小,bagging的树深度大。因为boosting是低偏差的,所以树不必太深,且为了把boosting的方差也降低,树也要深度小。bagging是低方差的,为了降低偏差,把树的深度变大,这样能降低偏差。

3、boosting xgboost gbdt lgb 各自优点

4、xgboost、正则化、怎么优化,boost算法

5、Adaboost详细,adaboost的权值和RF比较

6、GBDT和XGboost区别

7、为什么GBDT用负梯度当做残差

8、xgboost为什么用二阶导

9、boosting 和 bagging区别

10、boost树间不能并行,那树内呢?如何并行

11、从方差和偏差的角度解释bagging boosting

12、Boost和bagging对树有什么要求吗

13、gdbt和rf哪个树更深

14、RF和GBDT的区别

15、GBDTRF?GBDT如何分类?GBDT如何算梯度?

16、rf xgboost区别

17、xgboost rf lightbgm区别

18、GBDT可以并行吗?:原理上是不行的,这也是训练过程比RF慢的原因。但是XgBoost作为GBDT的一种工程实现方法,在决策树的构建过程中加入了部分并行技巧,加快了速度。

19、
GBDT和XgBoost的区别是什么呢?:XgBoost是GBDT的一个工程实现。1)在树的构建过程中加入了一些并行技巧;2)GBDT本身是没有预剪枝等过程的,XgBoost在构建的过程中加入了一些正则,起到了缓解过拟合的作用。

20、RF和XGboost特征重要程度

21、