Skip to content

Commit 0900aca

Browse files
committed
Updates ml/integrate/xgboost.md
Auto commit by GitBook Editor
1 parent b18f402 commit 0900aca

File tree

4 files changed

+11
-10
lines changed

4 files changed

+11
-10
lines changed

SUMMARY.md

+1-3
Original file line numberDiff line numberDiff line change
@@ -39,9 +39,6 @@
3939
* [实现代码](ml/decisiontree/code.md)
4040
* [第十课:随机森林](ml/forest.md)
4141
* [随机森林](ml/forest/random-forest.md)
42-
* [GBDT](ml/forest/gbdt.md)
43-
* [XGBOOST](ml/forest/xgboost.md)
44-
* [AdaBoost](ml/forest/adaboost.md)
4542
* [第十三课:SVM](ml/svm.md)
4643
* [感知机模型](ml/svm/gan-zhi-ji-mo-xing.md)
4744
* [线性SVM](ml/svm/linear-svm.md)
@@ -55,6 +52,7 @@
5552
* [Adaboost原理](ml/integrate/adaboost.md)
5653
* [scikit-learn Adaboost](ml/integrate/scikit-learn-adaboost.md)
5754
* [梯度提升树(GBDT)](ml/integrate/gbdt.md)
55+
* [XGBOOST](ml/integrate/xgboost.md)
5856
* [第十五课:聚类](ml/cluster.md)
5957
* [K-Mean](ml/cluster/kmeans.md)
6058
* [KNN](ml/cluster/KNN.md)

ml/forest/adaboost.md

Whitespace-only changes.

ml/forest/gbdt.md

Whitespace-only changes.

ml/forest/xgboost.md renamed to ml/integrate/xgboost.md

+10-7
Original file line numberDiff line numberDiff line change
@@ -28,7 +28,7 @@ Gradient boosting 是 boosting 的其中一种方法,所谓**Boosting**,就
2828

2929
AdaBoost 就是将多个弱分类器,通过投票的手段来改变各个分类器的权值,使分错的分类器获得较大权值。同时在每一次循环中也改变样本的分布,这样被错误分类的样本也会受到更多的关注。
3030

31-
![](http://upload-images.jianshu.io/upload_images/1667471-c98c268fe27708a2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
31+
![](http://upload-images.jianshu.io/upload_images/1667471-c98c268fe27708a2.png?imageMogr2/auto-orient/strip|imageView2/2/w/1240)
3232

3333
---
3434

@@ -41,21 +41,24 @@ AdaBoost 就是将多个弱分类器,通过投票的手段来改变各个分
4141
**表现快**是因为它具有这样的设计:
4242

4343
* Parallelization:
44-
44+
4545
训练时可以用所有的 CPU 内核来并行化建树。
46+
4647
* Distributed Computing :
47-
48+
4849
用分布式计算来训练非常大的模型。
50+
4951
* Out-of-Core Computing:
50-
52+
5153
对于非常大的数据集还可以进行 Out-of-Core Computing。
54+
5255
* Cache Optimization of data structures and algorithms:
53-
56+
5457
更好地利用硬件。
5558

5659
下图就是 XGBoost 与其它 gradient boosting 和 bagged decision trees 实现的效果比较,可以看出它比 R, Python,Spark,H2O 中的基准配置要更快。
5760

58-
![](http://upload-images.jianshu.io/upload_images/1667471-517f7c6d2df156f7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
61+
![](http://upload-images.jianshu.io/upload_images/1667471-517f7c6d2df156f7.png?imageMogr2/auto-orient/strip|imageView2/2/w/1240)
5962

6063
另外一个优点就是在预测问题中**模型表现非常好**,下面是几个 kaggle winner 的赛后采访链接,可以看出 XGBoost 的在实战中的效果。
6164

@@ -191,7 +194,7 @@ plot_importance(model)
191194
pyplot.show()
192195
```
193196

194-
![](http://upload-images.jianshu.io/upload_images/1667471-c453db61f95f1914.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
197+
![](http://upload-images.jianshu.io/upload_images/1667471-c453db61f95f1914.png?imageMogr2/auto-orient/strip|imageView2/2/w/1240)
195198

196199
**4. 调参**
197200

0 commit comments

Comments
 (0)