Swin Transformer
2025-06-16 13:09:49 1 举报
Swin-Transformer是2021年微软研究院发表在ICCV上的一篇文章,并且已经获得ICCV 2021 best paper的荣誉称号。虽然Vision Transformer (ViT)在图像分类方面的结果令人鼓舞,但是由于其低分辨率特性映射和复杂度随图像大小的二次增长,其结构不适合作为密集视觉任务或高分辨率输入图像的通过骨干网路。为了最佳的精度和速度的权衡,提出了Swin-Transformer结构。
作者其他创作
大纲/内容
W-MSA Block
Input
stage 1
stage 2
LayerNorm
Patch MergingH/8×W/8×2C
Linear EmbeddingH/4×W/4×C
SW-MSA Block
Patch MergingH/32×W/32×8C
残差连接
MLP
H/16×W/16×4C6×Swin Blocks
Output1000 classes
SW-MSA
H/4×W/4×C2×Swin Blocks
H/8×W/8×2C2×Swin Blocks
Patch PartitionH/4×W/4×48
stage 4
stage 3
W-MSA
Patch MergingH/16×W/16×4C
Output
Input ImageH×W×3
H/32×W/32×8C2×Swin Blocks
LayerNorm +Global Pooling
0 条评论
下一页