2. 机器学习主要分类
机器学习的主要分类
有监督学习:提供数据并提供数据对应结果的机器学习过程。
无监督学习:提供数据并且不提供数据对应结果的机器学习过程。
强化学习:通过与环境交互并获取延迟返回进而改进行为的学习过程。
无监督学习
无监督学习(Unsupervised Learning)算法采用- -组仅包含输入的.数据，通过寻找数据中的内在结构来进行样本点的分组或聚类。
算法从没有被标记或分类的测试数据中学习。
无监督学习算法不是响应反馈，而是要识别数据中的共性特征;对于一个新数据，可以通过判断其中是否存在这种特征，来做出相应的反馈。
无监督学习的核心应用是统计学中的密度估计和聚类分析。
无监督学习应用
监督学习
监督学习(Supervised Learning)算法构建了包含输入和所需输出的一组数据的数学模型。这些数据称为训练数据，由-组训练样本组成。
监督学习主要包括分类和回归。
当输出被限制为有限的一-组值(离散数值)时使用分类算法;当输出可以具有范围内的任何数值(连续数值)时使用回归算法。
相似度学习是和回归和分类都密切相关的一类监督机器学习，它的目标是使用相似性函数从样本中学习，这个函数可以度量两个对象之间的相似度或关联度。它在排名、推荐系统、视觉识别跟踪、人脸识别等方面有很好的应用场景。
3. 监督学习深入理解
监督学习三要素
模型(model) :总结数据的内在规律，用数学函数描述的系统
策略(strategy) :选取最优模型的评价准则
算法(algorithm) :选取最优模型的具体方法
监督学习实现步骤
得到一个有限的训练数据集
确定包含所有学习模型的集合
确定模型选择的准则，也就是学习策略
实现求解最优模型的算法,
也就是学习算法
通过学习算法选择最优模型
利用得到的最优模型，对新数据进行预测或分析
监督学习模型评估策略
模型评估
训练集和测试集
损失函数和经验风险
训练误差和测试误差
训练集和测试集
损失函数
概念
损失函数用来衡量模型预测误差的大小。
定义:选取模型f为决策函数，对于给定的输入参数X，f(X) 为预测结果，Y 为真实结果; f(X) 和Y之间可能会有偏差，我们就用一个损失函数(loss function)来度量预测偏差的程度，记作L(Y,f(X))
损失函数是系数的函数
损失函数值越小，模型就越好
经验风险
模型 f(X) 关于训练数据集的平均损失称为经验风险
经验风险最小化( Empirical Risk Minimization，ERM )
-这一策略认为, 经验风险最小的模型就是最优的模型
样本足够大时，ERM有很好的学习效果，因为有足够多的“经验”
样本较小时, ERM就会出现一些问题
训练误差和测试误差
训练误差（training error）是关于训练集的平均损失。
测试误差（testing error）是关于测试集的平均损失。
测试误差真正反映了模型对未知数据的预测能力，这种能力一般被称为 泛化能力
过拟合和欠拟合
欠拟合
模型没有很好地捕捉到数据特征，特征集过小，导致模型不能很好地拟合数据,称之为欠拟合(under-fitting) 。
欠拟合的本质是对数据的特征“学习”得不够
例如，想分辨一只猫，只给出了四条腿、两只眼、有尾巴这三个特征，那么由此训练出来的模型根本无法分辨猫
过拟合
模型的选择
奥卡姆剃刀
交叉验证
分类和回归
分类问题
分类问题可以用很多学习方法来解决，比如k近邻、决策树、感知机、逻辑斯谛回归、支撑向量机、朴素贝叶斯法、神经网络等
精确率和召回率
TP:将正类预测为正类的数目
FN:将正类预测为负类的数目
FP:将负类预测为正类的数目
TN:将负类预测为负类的数目
回归问题
监督学习模型求解算法
梯度下降算法
梯度是增加最快的方向
负梯度是减少最快的方向
牛顿法和拟牛顿法
