AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
transformer训练与预测时的数据流
2024-03-17 19:47:04
1
举报
分享方式
使用 (￥5)
介绍数据集从输入到模型的每一层，被转换为什么形状，并且是如何分解输入到每一层网络的。
transformer
模版推荐
作者其他创作
大纲/内容
红色的线： 只在预测的时候使用
Add ＆Norm
预测的时候使用
q
k=Y
训练数据集
X
训练时需要，预测时为None
concat
Input Embedding
Linear
N×
v
q=X
Y_valid_length形状(batch_size)
v=Y
预测时，第一个输入token: <bos>
Feed Forward
v=X
Positional Encoding
Y
decode_output
kv的有效长度
Multi-Head Attention
Softmax
q=Y
训练时，用于计算loss
X_valid_length形状(batch_size)
encode_output
k
预测的数据
MaskedMulti-Head Attention
embedding_output
k=X
OutputProbabilities
Output Embedding
收藏
立即使用
transformer训练与预测时的数据流
右
职业：本科
去主页
Collect
Get Started
查询数据流
Collect
Get Started
【系统分析】数据流程图DFD（数据流图）
Collect
Get Started
数据流图
Collect
Get Started
数据流图
评论
0
条评论
下一页
Document
