深度学习
2023-09-08 20:05:11 7 举报
AI智能生成
登录查看完整内容
思维导图
作者其他创作
大纲/内容
计算智能
感知智能
认知智能
人工智能
交通
金融
医疗
机器人
人工智能+
人工智能>机器学习>深度学习
计算机视觉
语音技术
自然语言处理NLP
机器学习应用领域
绪论
模型
学习准则
优化算法
机器学习基础
基本概念
矩阵运算
范数
线性代数
导数
泰勒公式
方向导数和梯度
矩阵微分
微积分
概率公式
常见概率分布
Jensen不等式
大数定理
随机过程
信息熵
概率和统计
数学基础
Logistic回归
Softmax回归
感知机
线性基础
基础知识
人脑神经网络
人工神经元模型
节点
连边
连接方式
人工神经网络
万能近似定理
深层网络有更好的泛化能力
为何要深度?
输入层、隐藏层、输出层
Logistic函数
Tanh函数
Hard-Logistic函数
Hard-Tanh函数
sigmoid型函数
ReLU
Leaky ReLU
ELU
Softplus
ReLU函数
Swish函数
GELU
Maxout单元
其他激活函数
激活函数
隐藏单元
线性输出单元
Sigmoid单元
Softmax单元
输出单元
梯度下降算法
参数学习
前馈网络
记忆网络
图网络
常见神经网络结构
神经网络
微分链式法则
反向传播算法
反向传播
数值微分
符号微分
自动微分
计算图
自动梯度计算
非凸优化
梯度消失
参数优化的主要问题
前馈神经网络
神经网络种类繁多
网络结构不同
优化方法不通用
超参数较多
网络结构多样性
非凸优化问题
难点
小批量梯度下降
自适应学习率和梯度优化
参数初始化和数据预处理
逐层归一化
寻找高效稳定的优化方法
超参数优化
逃离局部最优
改善方法
网络优化
L1和L2正则化
提前停止
Dropout
数据增强
提高神经网络泛化能力
深度模型优化与正则化
参数太多
局部不变性特征难以提取
解决的问题
卷积运算
稀疏交互
权值共享
平移不变性
卷积网络的动机
最大池化
平均池化
池化
卷积层——提取特征
池化层——降维、防止过拟合
全连接层——输出结果
一般结构
卷积神经网络
转置卷积
空洞卷积(膨胀卷积)
其他卷积方式
LeNet
AlexNet
Inception网络
残差网络
典型网络介绍
延时神经网络——TDNN
自回归模型——AR
有外部输入的非线性自回归模型——NARX
网络记忆能力
输入层、一个隐藏层、一个输出层
网络结构
情感计算
文本分类
many-to-one
看图作文
命题写诗
命题作曲
one-to-many
自动问答
文档摘要
机器翻译
many-to-many(同步)
词性标注
实体识别
many-to-many(异步)
序列模型应用形式
循环神经网络(RNN)
双向循环神经网络(Bi-RNN)
循环神经网络训练
合理初始化权重值
使用ReLU作为激活函数
增加细胞状态
遗忘门
输入门
输出门
门控机制
长短期记忆网络(LSTM)
更新门
重置门
门控循环神经网络(GRU)
使用其他结构RNN
应对策略
长程依赖问题
堆叠循环神经网络(SRNN)
双向循环神经网络
深层循环神经网络
循环神经网络
无监督特征学习
概率密度估计
聚类
典型问题:
能量函数
联想记忆
信息存储(参数学习)
Hopfield神经网络
样本生产——吉布斯采样
全局能量最小化
玻尔兹曼机
由可见层和隐藏层构成
层内单元之间无连接
受限玻尔兹曼机
由受限波尔兹曼机堆叠而成
深度玻尔兹曼机
深度信念网络
稀疏自编码器
降噪自编码器
堆叠自编码器
变种
自编码器
无监督模型
深度学习
0 条评论
回复 删除
下一页