基础架构<br>模型类型<br>
前馈神经网络（Feedforward Neural Networks, FNN）
输入层 → 隐藏层（多层） → 输出层，数据单向传递
应用：基础分类、回归任务，如房价预测、手写数字识别
卷积神经网络（Convolutional Neural Networks, CNN）
卷积层：提取局部空间特征（如边缘、纹理）<br>
池化层：降维并保留关键信息（如最大池化）
应用：图像分类（ResNet）、目标检测（YOLO）、医学影像分析
循环神经网络（Recurrent Neural Networks, RNN）
引入时序记忆，处理序列数据（如文本、语音）
应用：机器翻译、语音识别、股票预测
Transformer 架构
自注意力（Self-Attention）替代循环结构，并行处理序列数据
长距离依赖建模能力强，训练效率高
应用：自然语言处理（BERT、GPT）、多模态模型（CLIP）
生成对抗网络（Generative Adversarial Networks, GAN）
生成器（Generator）与判别器（Discriminator）对抗训练
应用：图像生成（StyleGAN）、数据增强、艺术创作
学习框架
PyTorch
以灵活性为核心，适合学术研究、快速迭代和小规模创新
学术主导：在 NLP、计算机视觉等领域的研究中占主导地位（如 Transformer、BERT 实现）
快速迭代：社区活跃，新模型（如扩散模型）和工具（如 Lightning）更新迅速
TensorFlow
以稳定性和扩展性见长，适合工业级应用和大规模部署
工业级生态：Google 生态支持，集成工具丰富（如 TFX、TensorBoard）
跨平台部署：支持移动端（TFLite）、浏览器（TensorFlow.js）和嵌入式设备
TensorFlow 2.x
在静态图的基础上引入动态图支持，兼顾灵活性与性能<br>
集成 Keras 提高易用性
训练流程<br>核心组件<br>
数据处理与增强
归一化、标准化、分词（NLP）、图像裁剪（CV）
旋转/翻转图像（CV）、同义词替换（NLP）<br>
损失函数<br>（Loss Function）<br>
分类任务：交叉熵损失（Cross-Entropy）
回归任务：均方误差（MSE）
生成任务：对抗损失（GAN）、感知损失（如VGG特征匹配）
优化算法
随机梯度下降（SGD）、动量法（Momentum）
Adam、RMSprop，自动调整学习率
正则化与<br>防过拟合<br>
Dropout（随机屏蔽神经元）
权重衰减（L2正则化）
早停法（Early Stopping）
学习率调度
余弦退火（Cosine Annealing）<br>
Warmup（初始阶段逐步提升）
