The Elements of Statistical Learning (6)
Model Assessment and Selection
随手记
之前kaggle比赛的时候最后的排名变动大得惊人。应该不全是选手不注意过拟合过度追求训练数据排名的原因。模型选择出了问题？什么情况有可能出问题？如何做更保险？
关注点：
1.模型选择：估计不同模型的性能，挑选（起码是近似）最优的模型
2.模型评估：估计模型在新数据上的预测误差（泛化误差）
调节参数的选择应当基于对预测误差的估计
随手笔记
之前kaggle比赛的时候最后的排名变动大得惊人。应该不全是选手不注意过拟合过度追求训练数据排名的原因。模型选择出了问题？什么情况有可能出问题？如何做更保险？
关注点：
1.模型选择：估计不同模型的性能，挑选（起码是近似）最优的模型
2.模型评估：估计模型在新数据上的预测误差（泛化误差）
调节参数的选择应当基于对预测误差的估计