File tree 4 files changed +11
-10
lines changed
4 files changed +11
-10
lines changed Original file line number Diff line number Diff line change 39
39
* [ 实现代码] ( ml/decisiontree/code.md )
40
40
* [ 第十课:随机森林] ( ml/forest.md )
41
41
* [ 随机森林] ( ml/forest/random-forest.md )
42
- * [ GBDT] ( ml/forest/gbdt.md )
43
- * [ XGBOOST] ( ml/forest/xgboost.md )
44
- * [ AdaBoost] ( ml/forest/adaboost.md )
45
42
* [ 第十三课:SVM] ( ml/svm.md )
46
43
* [ 感知机模型] ( ml/svm/gan-zhi-ji-mo-xing.md )
47
44
* [ 线性SVM] ( ml/svm/linear-svm.md )
55
52
* [ Adaboost原理] ( ml/integrate/adaboost.md )
56
53
* [ scikit-learn Adaboost] ( ml/integrate/scikit-learn-adaboost.md )
57
54
* [ 梯度提升树(GBDT)] ( ml/integrate/gbdt.md )
55
+ * [ XGBOOST] ( ml/integrate/xgboost.md )
58
56
* [ 第十五课:聚类] ( ml/cluster.md )
59
57
* [ K-Mean] ( ml/cluster/kmeans.md )
60
58
* [ KNN] ( ml/cluster/KNN.md )
Original file line number Diff line number Diff line change @@ -28,7 +28,7 @@ Gradient boosting 是 boosting 的其中一种方法,所谓**Boosting**,就
28
28
29
29
AdaBoost 就是将多个弱分类器,通过投票的手段来改变各个分类器的权值,使分错的分类器获得较大权值。同时在每一次循环中也改变样本的分布,这样被错误分类的样本也会受到更多的关注。
30
30
31
- ![ ] ( http://upload-images.jianshu.io/upload_images/1667471-c98c268fe27708a2.png?imageMogr2/auto-orient/strip%7CimageView2 /2/w/1240 )
31
+ ![ ] ( http://upload-images.jianshu.io/upload_images/1667471-c98c268fe27708a2.png?imageMogr2/auto-orient/strip|imageView2 /2/w/1240 )
32
32
33
33
---
34
34
@@ -41,21 +41,24 @@ AdaBoost 就是将多个弱分类器,通过投票的手段来改变各个分
41
41
** 表现快** 是因为它具有这样的设计:
42
42
43
43
* Parallelization:
44
-
44
+
45
45
训练时可以用所有的 CPU 内核来并行化建树。
46
+
46
47
* Distributed Computing :
47
-
48
+
48
49
用分布式计算来训练非常大的模型。
50
+
49
51
* Out-of-Core Computing:
50
-
52
+
51
53
对于非常大的数据集还可以进行 Out-of-Core Computing。
54
+
52
55
* Cache Optimization of data structures and algorithms:
53
-
56
+
54
57
更好地利用硬件。
55
58
56
59
下图就是 XGBoost 与其它 gradient boosting 和 bagged decision trees 实现的效果比较,可以看出它比 R, Python,Spark,H2O 中的基准配置要更快。
57
60
58
- ![ ] ( http://upload-images.jianshu.io/upload_images/1667471-517f7c6d2df156f7.png?imageMogr2/auto-orient/strip%7CimageView2 /2/w/1240 )
61
+ ![ ] ( http://upload-images.jianshu.io/upload_images/1667471-517f7c6d2df156f7.png?imageMogr2/auto-orient/strip|imageView2 /2/w/1240 )
59
62
60
63
另外一个优点就是在预测问题中** 模型表现非常好** ,下面是几个 kaggle winner 的赛后采访链接,可以看出 XGBoost 的在实战中的效果。
61
64
@@ -191,7 +194,7 @@ plot_importance(model)
191
194
pyplot.show()
192
195
```
193
196
194
- ![ ] ( http://upload-images.jianshu.io/upload_images/1667471-c453db61f95f1914.png?imageMogr2/auto-orient/strip%7CimageView2 /2/w/1240 )
197
+ ![ ] ( http://upload-images.jianshu.io/upload_images/1667471-c453db61f95f1914.png?imageMogr2/auto-orient/strip|imageView2 /2/w/1240 )
195
198
196
199
** 4. 调参**
197
200
You can’t perform that action at this time.
0 commit comments