深度学习
2023-09-08 20:05:11 9 举报AI智能生成
思维导图
作者其他创作
大纲/内容
绪论
人工智能
计算智能
感知智能
认知智能
人工智能+
交通
金融
医疗
机器人
人工智能>机器学习>深度学习
机器学习应用领域
计算机视觉
语音技术
自然语言处理NLP
基础知识
机器学习基础
模型
学习准则
优化算法
数学基础
线性代数
基本概念
矩阵运算
范数
微积分
导数
泰勒公式
方向导数和梯度
矩阵微分
概率和统计
概率公式
常见概率分布
Jensen不等式
大数定理
随机过程
信息熵
线性基础
Logistic回归
Softmax回归
感知机
前馈神经网络
人工神经网络
人脑神经网络
人工神经元模型
人工神经网络
节点
连边
连接方式
神经网络
万能近似定理
为何要深度？
深层网络有更好的泛化能力
常见神经网络结构
前馈网络
输入层、隐藏层、输出层
隐藏单元
激活函数
sigmoid型函数
Logistic函数
Tanh函数
Hard-Logistic函数
Hard-Tanh函数
ReLU函数
ReLU
Leaky ReLU
ELU
Softplus
其他激活函数
Swish函数
GELU
Maxout单元
输出单元
线性输出单元
Sigmoid单元
Softmax单元
参数学习
梯度下降算法
记忆网络
图网络
反向传播
微分链式法则
反向传播算法
自动梯度计算
数值微分
符号微分
自动微分
计算图
参数优化的主要问题
非凸优化
梯度消失
深度模型优化与正则化
网络优化
难点
网络结构多样性
神经网络种类繁多
网络结构不同
优化方法不通用
超参数较多
非凸优化问题
改善方法
网络结构多样性
寻找高效稳定的优化方法
小批量梯度下降
自适应学习率和梯度优化
参数初始化和数据预处理
逐层归一化
超参数优化
非凸优化问题
逃离局部最优
自适应学习率和梯度优化
提高神经网络泛化能力
L1和L2正则化
提前停止
Dropout
数据增强
卷积神经网络
解决的问题
参数太多
局部不变性特征难以提取
卷积运算
卷积网络的动机
稀疏交互
权值共享
平移不变性
池化
最大池化
平均池化
卷积神经网络
一般结构
卷积层——提取特征
池化层——降维、防止过拟合
全连接层——输出结果
参数学习
反向传播算法
其他卷积方式
转置卷积
空洞卷积（膨胀卷积）
典型网络介绍
LeNet
AlexNet
Inception网络
残差网络
循环神经网络
网络记忆能力
延时神经网络——TDNN
自回归模型——AR
有外部输入的非线性自回归模型——NARX
循环神经网络（RNN）
网络结构
输入层、一个隐藏层、一个输出层
序列模型应用形式
many-to-one
情感计算
文本分类
one-to-many
看图作文
命题写诗
命题作曲
many-to-many（同步）
自动问答
文档摘要
机器翻译
many-to-many（异步）
词性标注
实体识别
双向循环神经网络（Bi-RNN）
循环神经网络训练
长程依赖问题
梯度消失
应对策略
合理初始化权重值
使用ReLU作为激活函数
使用其他结构RNN
长短期记忆网络（LSTM）
增加细胞状态
门控机制
遗忘门
输入门
输出门
门控循环神经网络（GRU）
更新门
重置门
深层循环神经网络
堆叠循环神经网络（SRNN）
双向循环神经网络
无监督模型
典型问题：
无监督特征学习
概率密度估计
聚类
Hopfield神经网络
能量函数
联想记忆
信息存储（参数学习）
玻尔兹曼机
样本生产——吉布斯采样
全局能量最小化
参数学习
受限玻尔兹曼机
由可见层和隐藏层构成
层内单元之间无连接
深度玻尔兹曼机
由受限波尔兹曼机堆叠而成
深度信念网络
自编码器
变种
稀疏自编码器
降噪自编码器
堆叠自编码器
0 条评论
下一页
