树模型论文汇总.zip下载

xgboost、lightgbm、catboost论文汇总。 XGBoost[1]是2014年2月诞生的专注于梯度提升算法的机器学习函数库，此函数库因其优良的学习效果以及高效的训练速度而获得广泛的关注。仅在2015年，在Kaggle[2]竞赛中获胜的29个算法中，有17个使用了XGBoost库，而作为对比，近年大热的深度神经网络方法，这一数据则是11个。在KDDCup 2015 [3]竞赛中，排名前十的队伍全部使用了XGBoost库。XGBoost不仅学习效果很好，而且速度也很快，相比梯度提升算法在另一个常用机器学习库scikit-learn中的实现，XGBoost的性能经常有十倍以上的提升。在KDD会议上，XGBoost的作者陈天奇将这一库函数所涉及到的理论推导和加速方法整理为论文发表出来[4]，本文据此对其原理做简单的介绍。尽管这是一个机器学习方面的函数库，但其中有大量通用的加速方法，也值得我们学习。