首页  思维导图  详情



 



深度学习

2024-08-09 16:46:17   38  举报





深度学习思维导图

深度学习

模板推荐

作者其他创作

大纲/内容

卷积神经网络CNN

概念

卷积

寻找特征

池化

压缩数据

激活

加强特征

全连接

非线性分类

LeNet5

AlexNet

VGGNet

GoogLeNet

网络结构

具体参数

引入Inception结构，融合不同尺度的特征信息，由原本网络的串行结构，变为并行结构

添加两个辅助分类器帮助训练

使用1*1卷积核进行将为以及映射处理

丢弃全连接层，使用平均池化层，大大减少模型参数

ResNet

梯度消失或梯度爆炸：反向传播过程中梯度的逐层传播所引起，层数越多越明显

退化问题(现象)：随着网络层数的增加，深层网络的训练误差反而会增大，而不是减少。

残差块

BasicBlock模块，使用两个3x3卷积，适用ResNet18和ResNet34

Bottleneck模块，用所更深层ResNet网络

总体网络各个层次

conv1：一个7x7卷积层，做最大池化

4个残差层，每一层具有不同数量的残差块

最后经过全连接层、平均池化等输出

Transformer框架

架构：输入经过Transformer的编码器和解码器后得到输出

编码器

自注意力层：生成K、V、Q矩阵，将K、V矩阵输入到解码器中

解码器

自注意力层：初始化Q、K、V矩阵，Q矩阵输入到后续的交叉注意力层

交叉注意力层：使用编码器输入的K、V矩阵和自己的Q矩阵做交叉注意力，生成新的词

自注意力层：使用新生成的词更新K、Q、V矩阵

循环神经网络RNN

RNN

使用ht用来记录上一时刻信息，使用xt和ht-1进行下一时刻预测

长短期记忆网络（LSTM)

除了ht以外，还有ct记录长期信息，使用xt、ht-1、ct-1进行下一时刻预测

门控循环单元

部分概念

激活函数：Sigmoid、ReLU、Tanh（同机器学习)

损失函数：均方误差MSE、交叉熵损失(同机器学习)

优化：梯度下降、Adam、RMSprop等

正则化：L1/L2正则化、Dropout、Batch Normalization

Dropout:随机扔掉一定比例的神经元

批量归一化BN：求均值μ和方差σ²后归一化

感知器和多层感知机

注意力机制

概念

查询Query：模型在处理当前时间步或位置时要关注的内容，可以看作是用来查询相关信息的向量

键Key：所有可能与查询相关的内容的表示，用来与查询匹配的向量

预训练模型

上下文相关的词嵌入模型Contextual Embeddings：BERT, GPT，生成的词向量会根据上下文变化，可以每个词中提取出语义向量

预训练的词嵌入Word Embeddings：Word2Vec, GloVe，将每个词转化为一个固定的向量

在线训练

注意力机制

自注意力机制Self-Attention：处理同一序列内部的注意力

单头注意力机制：Single-Head Attention

多头注意力机制：Multi-Head Attention

交叉注意力机制Cross-Attention：处理不同序列之间的注意力，常用于编码器-解码器结构中

全局注意力机制Global-Attention：对所有位置进行注意力计算，适合捕捉全局依赖

局部注意力机制Local-Attention：限制注意力范围，适合处理长序列数据

神经网络：CNN、RNN/LSTM/GRU、GNN等

值Value：实际信息或内容，与每个键相关联。在计算注意力时，使用权重加权这些值，得到最终的输出。

自注意力机制

对于一句话假设输入有其中两个单词：Thinking、Machines

根据使用的预训练模型，得到单词词向量Embedding和向量矩阵Wq、Wq、Wv

根据词向量和向量矩阵点乘计算的到每个单词的Q、K、V

遍历每个单词q，与别的单词k相乘

乘积/√(k维度)，减小数值，防止softmax差距过大

每个softmax后的值与V相乘相加得到z

至此，每个词的得到的新的词向量z，包含了该词与别的词之间的关系

掩码自注意力机制

M ：掩码矩阵，具有与Q*KT相同的维度

多头注意力机制

将输入X分割成n个Embedding，得到n个Q、K、V，求出Z后拼接成一个新的向量

交叉注意力机制

在自注意力机制中，Q、K、V为同源(X)向量,交叉注意力机制中，Q来自不同源数据

位置编码公式

pos表示词在序列中的位置，从0开始。 dmodel表示词嵌入的维度。 i 表示词嵌入的维度索引。 PE为位置编码矩阵。

 Collect

Get Started

科研深度学习绘图神经网络

 Collect

Get Started

学习资源

 Collect

Get Started

个人学习大纲 Learning Syllabus

 Collect

Get Started

TCP 核心机制深度剖析





0 条评论

下一页