机器学习思维导图模板_ProcessOn思维导图、流程图

AI，ML，DL 之间的关系}

AI（ Artificial Intelligence）

人工智能

期望计算机能够像人一样进行合理的思考和决策

ML（Machine Learning ）

机器学习

本质上就是模拟人的行为，依托大量的训练数据， 找出数据的特征和标签之间的关系， 并能够根据新特征预测新标签值。

DL（ Deep Learning）

深度学习

深度神经网络，大脑仿生。（黑盒）

算法的学习方式

基于规则

通常是 if-else 形式。

基于模型

让机器从数据中学习一个模型，处理复杂问题

机器学习发展史

符号主义

1950，图灵设计国际象棋模式

1956，美国达特茅斯会议

统计主义

1993，1997使用统计模型解决问题

神经网络

2012，2016

大模型预训练模型

2017年，NPL自然语言处理框架Transformer

机器学习相关术语

样本

一行数据

特征

一列数据

一定是对预测结果有用的信息

标签

需要模型预测的一列数据

数据集

所有的样本总称

训练集：训练模型的数据集

测试集：测试模型的数据集

AI发展三要素

数据

算法

算力

机器学习算法分类

有监督

特点：输入的数据有特征，有标签

分类：

回归问题（标签连续）

常用算法

线性回归

误差：预测值-真实值  （损失）

损失函数（误差函数）

衡量每个样本误差的函数，也叫代价函数，目标函数，成本函数

样本标准差

总体标准差

求损失函数最小值

配方法

以二元一次函数为例：

求导

常见求导公式

运算法则

梯度下降

有些函数无法求导，没有解，只能使用梯度下降去接近最优解

梯度：单变量函数，梯度就是导数。多变量函数，梯度就是偏导

梯度下降公式： W新 = W旧 - 学习率 * 梯度

学习率:就是步长, 即: 一次走多少, 一般是 0.001 ~ 0.1

过大：可能会出现梯度震荡, 梯度爆炸的情况

过小：迭代较慢, 效率太低.

分类：

FGD

全梯度下降

SGD

随机梯度下降

Mini-Batch

小批量梯度下降

SAG

随机平均梯度下降

回归方程

一元线性方程

y=wx+b

多元线性方程

案例：波士顿房价预测

分类问题（标签不连续）

常用算法

KNN算法

概述

K-Nearest Neighbors，找最近的K个样本, 然后基于这些样本做分类或者回归任务.

特点：

KNN既能处理分类问题, 也能处理回归问题

欧式距离：

对应维度差值的平方和, 开平方根

常见的计算距离的方式

扩展: 其它距离, 例如: 曼哈顿距离(城市截取距离), 切比雪夫距离, 闵式距离, 有时间了可以了解一下.

思路

分类问题

1.计算测试集和训练集之间的欧氏距离

2.按照距离升序排列

3.找到最近的K个样本

4，基于样本投票

5.上述投票结果就是最终分类结果

回归问题

1.计算测试集和训练集之间的欧氏距离

2.按照距离升序排列

3.找到最近的K个样本

4. 基于上述的K个样本, 算均值.

5. 上述的均值就是最终的预测值.

案例

KNN 分类API入门

KNN 回归API入门

鸢尾花分类

超参优化

超参：需要(程序员)手动传入的参数, 就叫: 超参. 例如: KNN算法的 K值就是超参.

交叉验证+网络搜索

交叉验证

网格搜索

CART决策树

集成学习

逻辑回归

无监督

特点：有特征，无标签

只给模型输入数据，不给任何标签，让模型自己找出数据中的结构。

场景：聚类

半监督

特点：有标签无标签都有，一般无标签占多数，

场景：

医学影像需要医生标注。 文本分类需要人工打标。 语音转写需要逐句校对。

强化学习

智能体

进行学习，做决策的主体

环境状态

环境在当前时刻的完整情况或内部情形 它是智能体做决策的依据，也是环境随时间变化的一个快照。

行动

智能体在当前状态下能做的选择。

奖惩

环境给智能体的即时反馈

机器学习建模流程

1.数据加载

导入数据

2.数据清洗

异常值，缺失值处理

3.特征工程

概念解释：

特征：对任务，或者对模型训练有用的属性

特征工程的作用：拿到高价值数据，让模型更好i的学习

数据和特征决定机器学习的上限

内涵：

特征提取

从原始数据中提取与任务相关的特征， 构成特征向量

特征预处理

目的是解决量纲问题，原量纲不统一会对模型产生影响

特征降维

将原始数据进行降维，会改变原始数据

特征选择

针对性相关数据，不会改变原属数据

特征组合

通过运算，将多个特征组合为一个

4.模型训练

线性回归

逻辑回归

决策树

5.模型预测

把新数据丢给模型，看他的预测值

6.模型评估

回归测评指标

RMSE

均方根误差

MAE

平均绝对值误差

MSE

均方误差

最小二乘

误差平方和

分类测评指标

聚类测评指标

模型拟合

拟合

描述模型对样本的贴进度以及匹配程度

欠拟合

概念：训练集表现差，测试集表现差

原因：模型过于简单

解决方案：增加特征

过拟合

特点：训练集表现好，测试集表现差

原因：模型复杂，数据质量不高，训练数据太少

解决方案：正则化（不是仅仅减少特征）

正则化

一句话：正则化就是在损失函数里加个惩罚项，逼模型别把权重学得太嚣张，从而防止过拟合、提升泛化能力。

L1正则化

让权重趋近于0或者等于零

使用L1正则化的回归模型为lasso回归

L2正则化

让权重趋近于0

使用L2正则化的回归模型为岭回归模型

泛化

概述

模型在新数据集上表现好坏的能力

奥卡姆剃刀

有两个有相同泛化能力的模型，更倾向选择简单模型

环境搭建

pip install scikit-learn