【算法模型图】深度学习方法
2024-12-05 10:40:48 0 举报该作品中包含1个深度学习方法发展历程图、5个深度学习算法模型图（①全连接神经网络NN、②卷积神经网络CNN、③循环神经网络RNN、④基于注意力机制的神经网络Transformer、⑤图卷积神经网络GCN），可根据实际情况修改相应内容。
作者其他创作
大纲/内容
输入嵌入
. . .
长短期记忆单元：LSTM
迭代膨胀CNN：IDCNN
输出层
隐藏层
f
O(t-1)
O(t+1)
O(t)
输入层
① NN全连接神经网络
卷积神经网络CNN
充分利用文本全局特征
Nx
位置编码
池化
前馈层
残差连接和归一层
向量化
掩码多头自注意力
输出嵌入
......
输出（右位移）
更强的特征学习能力，具有可迁移性
卷积和池化
过滤器
池化窗口
多头自注意力
输入
较单向RNN有更高拟合度
X
S
V
双向RNN：Bi-LSTM、Bi-GRU
（输入特征矩阵）
⑤ GCN 图卷积神经网络
深度学习方法发展历程
Input
独立循环单元：IndRNN
全连接层
W
池化层
分类
卷积层
X(t-1)
输入图像
X(t+1)
X(t)
1
Z
向量特征图
S(t)
feature2
S(t-1)
feature1
S(t+1)
feature3
展开
④ Transformer 基于注意力机制的神经网络
（输出特征矩阵）
Output
③ RNN 循环神经网络
O
② CNN 卷积神经网络
U
门控循环单元：GRU
特征图
池化特征图
Y
解决RNN梯度消失与梯度爆炸问题，更好避免长期依赖
n
2
5
图像
异构图神经网络：RGCN
提取特征更显著
4
3
m
X1
X2
Xn
简化但性能优于LSTM
处理简单的同构图
重点关注文本序列特征
在专业领域表现更佳
不同卷积窗口大小的CNN
输出概率
Softmax 层
全连接神经网络NN
同构图神经网络：GCN
线性层
学习长文本序列特征，避免长期依赖
不同节点个数和层数的NN
BERTology系列：RoBERTa
局部范围扩大，使用并行加速计算
只有遗忘门的LSTM：JANET
忽略无用特征，关注有用特征
处理非欧式空间文本数据
深层CNN
权重数量少，易收敛和泛化
处理复杂的异构图，效果和表现更佳
基于注意力机制的神经网络Transformer
图神经网络GNN
简化LSTM模型结构
循环神经网络RNN
预训练：BERT
参考论文：中文电子病历命名实体识别的研究与进展.
结构灵活但训练过程复杂
0 条评论
下一页
