前向传播
🎓 学生模型ResNet-18 / DistilBERT
注意力图Attention Maps
中间特征Intermediate Features
软标签Soft Labels (T=4)
任务损失Cross Entropy
📊 损失计算模块L_total = α·L_task + β·L_distill + γ·L_feature + δ·L_attention
知识蒸馏模型压缩架构Knowledge Distillation for Model Compression
学生注意力Student Attention
学生特征Student Features
🏫 教师模型推理区 (冻结参数)
学生软标签Student Soft Labels
📦 学生模型训练区
🔄 梯度反向传播
注意力迁移Attention Transfer
特征对齐MSE Loss
🌱 梯度反向传播
蒸馏损失KL Divergence
💧 数据/特征流
🔥 知识传递路径
⚖️ 损失计算与优化区
🧠 教师模型ResNet-152 / BERT-Large
输入数据 X
硬标签 Y
