XGBoost原理解析.pdf下载

XGBoost原理解析.pdf 作者:Drxan 邮箱:yuwei8905@126.com 目录 前言 ................................................................................................................. 3 1 基本概念解释 ....................................................................................................................... 4 1.1 函数空间中的优化问题 ................................................................................................ 4 1.2 分步加性模型的理解 .................................................................................................... 5 2 Gradient Boosting 算法原理 .................................................................................................. 6 3 XGBoost 算法原理 ................................................................................................................. 9 3.1 XGBoost 的损失函数 ...................................................................................................... 9 3.2 确定各叶子节点的最优输出值 .................................................................................. 11 3.3 分裂条件 ...................................................................................................................... 12 3.4 弱学习器的集成 .......................................................................................................... 12 4 XGBoost 的优化 ................................................................................................................... 14 4.1 分裂点的搜索算法 ...................................................................................................... 14 4.2 稀疏数据的自动识别 .................................................................................................. 16 4.3 其他计算性能优化 ...................................................................................................... 17 5 总结 ................................................................................... 18 参考文献 .................................................................................................... 18