机器学习-周志华思维导图模板_ProcessOn思维导图、流程图

1、绪论

学习算法

数据产生模型

数据集

样本

属性

特征

属性值

属性空间

特征向量

假设空间

归纳

特殊到一般

演绎

一般到特殊

2、模型评估与选择

经验误差与过拟合

错误率

分类错误的样本数占样本总数的比例

E=a/m,m个样本中a个样本分类错误

精度

1-E

1 - 错误率

误差

实际预测输出与样本真实输出间的差异

训练误差

训练集上的误差

泛化误差

新样本上的误差

目的：最小化泛化误差

过拟合

泛化性能下降，把训练样本自身的一些特点当做所有潜在样本都具有的一般性质

更难避免

欠拟合

对训练样本的一般性质尚未学好

模型选择

评估泛化误差，选最小的

评估方法

测试集应尽可能与训练集互斥

留出法

数据集

D数据集

S训练集

T测试集

D=S并T

S交T=空集

训练/测试集划分要尽可能保持数据分布一致性

避免额外划分导致的偏差

尽量保持样本类别比例相似

分层采样

保留类别比例的采样方式

多次使用留出法

若干次随机划分

重复进行实验评估取平均值

交叉验证法

性能度量

度量泛化

均方误差

错误率+精度=1

分类结果混淆矩阵

真正例TP

真正例FP

假反例FN

真反例TN

样例总数=TP+FP+FN+TN

查准率/准确率

P=TP/(TP+FP)

R=TP/(TP+FN)

ROC与AUC

子主题

比较检验

假设检验

交叉验证t检验

McNemar检验

Friedman检验与Nemenyi检验

偏差与方差

偏差-方差分解

用于解释学习算法泛化性能

泛化误差=偏差+方差+噪声

偏差

学习算法的期望预测与真实结果的偏离程度

方差

同样大小训练集变动所导致学习性能的变化

3、线性模型

基本形式

f(x) = wx + b

w为向量

很多非线性模型是在线性模型基础上通过引入层级结构或高级映射

线性回归

度量

均方误差

最小化

最小二乘法

均方误差最小化来进行模型求解

试图找到一条曲线，使所有样本到直线上的欧式距离之和最小

多元线性回归

y = wx +b

对数线性回归

lny = wx + b

广义线性模型

g(y)=wx+b

对数几率回归

二分类

单位阶跃函数

对数几率函数

线性判别分析

LDA

给定训练样例集，设法将案例投影到一条直线上，使同类案例尽可能接近，异类案例尽可能远离

对新样本分类时，将其投影到这条直线上，根据直线上的位置进行分类

多分类学习

拆解法

多分类拆分为多个二分类

拆分策略

一对一

N个类别两两配对

N(N-1)/2

一对多

一个类别作为正例，其它作为反例

多对多

若干正例，若干反例

拆分需要特殊构造

纠错输出码

将编码思想引入类别拆分

类别不平衡问题

再缩放

4、决策树

基本流程

根节点全集，叶节点属性

分而治之

目的产生一颗泛化能力强，即处理未见示例能力强的决策树

划分选择

关键在于选择最优划分属性

节点纯度越来越高

决策树分支节点所包含的样本尽可能属于同一类别

信息增益

信息熵

度量样本集合纯度的指标

信息熵定义

当前样本集合D中第k类样本所占有的比例为pk

Ent(D)值越低，纯度越高

信息增益定义

用属性a对样本集D进行划分所获得的信息增益

值越大，使用a进行划分所获得纯度提升越大

选信息增益大的属性作为节点

增益率

信息增益准则对可取值数目较多的属性有所偏好

使用增益率来选择最优划分属性

增益率对可取数目较少的属性有所偏好

先从候选划分属性中寻找信息增益高于平均水平的属性，再从中选择增益率最高的

基尼指数

CART

classification and regression tree

选择划分属性

度量数据集的纯度

从数据集随机抽2个样本，其类别标记不一致的概率

值越小，纯度越高

选择那个使得划分后基尼指数最小的属性作为最优划分属性

剪枝处理

对付过拟合

预剪枝

决策树生成过程中，对每个节点在划分前先进行估计

导致欠拟合

后续划分可能导致性能显著提升

后剪枝

先从数据集生成一颗完整的决策树，然后自底往上对非叶节点进行考察

比预剪枝保留了更多节点

训练时间开销大

留出法

预留一部分数据作验证集进行性能评估

连续与缺失值

连续值处理

连续属性离散化

二分法

缺失值处理

让同一样本以不同概率划入到不同的子节点

多变量决策树

倾斜的边界划分

5、神经网络

神经元模型

激活函数

阶跃函数

Sigmoid函数

感知机与多层网络

感知机

输入层接收外界输入信号

输出层M-P神经元

阈值逻辑单元

多层前馈神经网络

输入层

隐层

输出层

误差逆传播算法

BackPropagation

BP网络

使用BP算法训练的多层前馈神经网络

梯度下降

误差函数

全局最小

局部最小

梯度为0

最小点

我们的目的是全局最小，在寻找过程中会遇到局部最小

跳出局部最小的方法

使用多组不同的参数值初始化，选误差函数最小的解作为最终参数

模拟退火

在每一步都以一定概率接受比当前概率更差的结果

接受次优解的概率要慢慢减小，以保证算法稳定

随机梯度下降

即使陷入局部最小点，其梯度也可能不为0

6、支持向量机

间隔与支持向量

SVM

Support Vector Machines

划分超平面

支持向量

间隔

直线与两类最近点之间的距离

最大化间隔

对偶问题

子主题

核函数

将样本从原始空间映射到更高维度的特征空间

使线性可分

软间隔和正则化

允许支持向量机在一些样本上出错

支持向量回归

C

控制光滑交界和正确分类的折衷

越小越平滑

gamma

linear越小，越直

过拟合

过于曲折

优点

明显分界表现良好

缺点

大量数据表现不好

速度慢

噪声多表现不好

过拟合

类严重重叠，要考虑独立证据

7、贝叶斯分类器

概率

贝叶斯决策论

极大似然估计

朴素贝叶斯分类器

半朴素贝叶斯分类器

贝叶斯网

EM算法

优点特征空间大

适合文本分类

每个单词一个特征

缺点词之间间隔

8、集成学习

多分类器系统

构建并结合多个学习器来完成学习任务

集成

同质集成

个体学习器是同种类型

异质集成

个体学习器是不同类型

弱学习器

泛化性能略优于随机猜测的学习器

准确性+多样性

冲突

根据个体学习器的生成方法分成2类

个体学习器间存在强依赖关系，必须串行生成序列化方法

Boosting

个体学习器间不存在强依赖关系，可同时生成并行化方法

Bagging

Random Forest

Boosting

将弱学习器提升为强学习器的算法

先从初始训练集训练出一个基学习器

根据基学习器的表现对训练样本分布进行调整

使先前基学习器做错的训练样本受到更多关注

重赋权法

基学习器不满足则停止

重采样法

基学习器不满足则重启

根据调整后的样本分布训练下一个基学习器

重复进行至基学习器数目达到指定值

加权结合所有基学习器

降低偏差

基于泛化性能弱的学习器构建出很强的集成

标准只适用二分类

Bagging

自助采样法

给定包含m个样本的数据集，先随机取出一个放入采样集，再放回初始数据集，经过m次随机采样操作，得到含m个样本的采样集

自助采样T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合

降低方差

在决策树，神经网络等易受样本扰动的学习器上效用更明显

多分类，回归

Random Forest

随机森林

Bagging的一个扩展变体

在决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入随机属性选择

传统决策树在选择划分属性时是在当前节点的属性集合中选择一个最优属性

RF，基决策树每个节点，先从该节点属性集合中随机选一个包含k个属性的子集，然后从子集选择最优属性用于划分

Bagging多样性只来自样本扰动，RF来自样本和自属性扰动

RF基学习器少，性能低，随着基学习器数目增加，收敛到更低泛化误差

结合策略

数值型

平均法

简单平均

个体学习器性能接近

加权平均

个体学习器性能差异较大

投票法

绝对多数投票法

加权投票法

学习法

使用学习器进行结合

多样性

误差-分歧分解

多样性度量

k-统计量

k越大，多样性越小

k-误差图

多样性增强

数据样本扰动

采样法

输入属性扰动

输出表示扰动

算法参数扰动

9、聚类

k-means

分配

优化

聚类性能度量

簇内相似度高，簇间相似度低

外部指标

将聚类结果与某个参考模型对比

内部指标

直接考察聚类结果

原型聚类

密度聚类

层次聚类

10、降维与度量学习

k近邻

懒惰学习

低维嵌入

降维

PCA

主成成分分析