Random Rotation Ensembles

Random Rotation Ensembles

随手记

先进之处：In this paper,we introduce a method that is simple to implement yet general and effective in improving ensemble diversity with only modest impact on the accuracy of the individual base learners.

在集成学习中增加集成多样性往往会导致基学习器准确性的下降，而这篇文章提出了通过旋转特征空间，在对准确性影响非常小的情况下提升了多样性，在数据集上的结果显示这一方法的性能已经超过了目前最先进的集成学习方法了。

引言阐述了：
1.集成学习好用，牛逼；
2.集成学习的关键在于多样性-准确性权衡，并介绍了几种提升多样性的典型；
3.很多集成学习方法要求基学习器必须是决策树。决策树有很多优点，但决策树实质上是一个划分决策空间(decision space)的超矩形(hyper-rectangles)的集合，所以得到的函数是分段的阶梯状，即使组合大量的决策树，在低维可视化的场景下也能明显的观察到这一现象。这导致了为了逼近一个斜的决策边界，需要大量的树。为了突破这一限制， (Garca-Pedrajas et al., 2007)提出了nonlinear boosting projections，为基学习器和oblique random forests提供了不同的非线性数据视图（？？？），(Menze et al., 2011)使用线性判别模型或岭回归来决定树节点上的最优斜分隔方向。 (Rodriguez et al., 2006; Kuncheva and Rodriguez, 2007)则提出了另外一种方法，rotation forests，与本文的方法相关但有所不同，这一方法是在构造下一个预测子之前先抽取特征子集，再做自助采样（估计是为了避免每次旋转的方法都差不多），再做PCA，然后旋转整个特征空间。De Bock and Poel (2011)发现不用PCA用ICA效果最好。
4.作者发现没必要刻意去决定旋转方向，随机旋转效果好极了，然后就有了这篇文章。

Random Rotations

这一节介绍如何构造随机旋转

一个恰当的旋转矩阵$\textit{R}$应当是一个行列式等于1的正交方阵。

方法1：构造一个$n\times n$的方阵A，A中元素为独立标准正态分布，做QR分解，得到的Q则为所需的旋转矩阵（如果Q的行列式不是+1的话可以随机翻转A的某一行向量的符号）

方法2：随机选取n维球体中的点来构造旋转矩阵。

注意：分类变量不适合旋转，旋转的定义也不明确。