残差模块
2020-09-09 14:23:21 194 举报
残差模块是深度学习中的一种重要结构,它的主要作用是帮助网络学习输入与输出之间的恒等映射,从而解决深层网络中的梯度消失和爆炸问题。残差模块的设计理念源于残差学习,即认为网络应该能够直接拟合输入与输出之间的差异,而不需要通过复杂的中间表示。在残差模块中,通常会引入一个短路连接,使得输入可以直接流向输出,从而形成“shortcut”或“skip connection”。这种设计使得网络可以更容易地学习到恒等映射,从而提高了训练的稳定性和效果。此外,残差模块还可以通过堆叠多个残差块来构建深度网络,进一步提高模型的性能。