机器学习

策略的目的：选择模型

分类问题

监督学习：从给定有限的训练数据出发，假设数据是独立同分布的，而且假设模型属于某个假设空间，应用某一评价准则，从假设空间中选取一个最优的模型，使它对已给训练数据及未知测试数据在给定评价标准下有最准确的预测

选定模型后，模型假设空间就是所有这些函数组成集合，不同参数组成不同模型集合

模型

损失函数：度量预测值与真实值偏差

其他相关概念

结构风险最小化等价于正则化

评价指标：分类准确度定义：对于给定测试数据集，分类器正确分类的样本数与总样本数之比

统计学习的问题归结为最优化问题，算法要保证找到全局最优解，并使得求解的过程非常高效。

经验风险：模型关于训练数据集的平均损失

结构风险最小化：为了防止过拟合提出来策略

算法：学习模型的具体计算方法

模型分类：生成模型和判别模型

算法

标注问题回归问题

线性模型贝叶斯模型SVM模型 等

交叉验证：模型选择

1、简单交叉验2、S折交叉验证3、留一交叉验证

策略