B * L * T1*7*256
ResNet
Neck
B * H * L * E1*8*7*7
②
Backbone
B * H * L *E1*8*7*7
P
均方差标准化/反
R
B * H * L * E1*8*7*7
转置Permute
CNN
B * T * L1*672*1
B * H * L *E1*8*7*7
M
值嵌入
A
Linear
Einsum
Q
B * L * H * E1*7*8*32
Position Embedding
B * T * L1*256*7
注意力机制
Attention
S
D
多Attention
①
K
B * L * T1*7*512
Embedding
B * H * L * E1*1*7*7
......
V
卷积神经网络
S⁻¹
LN
B * L * H * E1*7*8*32
类似矩阵乘法 V * A
B * L * T1*1*672
B * T * L1*512*7
Value Embedding
Mask
B * L * T1*7*96
隐藏层矩阵乘法
8个副本
Decoder-Only
Softmax
4层TransformerDecoder
K Q V 3者均为Linear变换
类似矩类乘法 A =Q * Kᵀ
线性变换
Layer Normalization
残差网络
矩阵加法
位置嵌入
Head
归一化
