预训练
训练目标
自回归语言建模（Next Token Prediction）
掩码语言建模（MLM，BERT 类）
去噪目标（Denoising，T5 类）
前缀语言建模（Prefix LM）
模型架构
Transformer 解码器堆叠（Decoder-only）
编码器-解码器（Encoder-Decoder）
注意力机制
多头自注意力（MHA）
多查询注意力（MQA）
分组查询注意力（GQA）
滑动窗口注意力（Sliding Window）
稀疏与线性注意力
位置编码
绝对位置编码
相对位置编码
旋转位置编码（RoPE）
ALiBi
归一化与激活
LayerNorm / RMSNorm
Pre-Norm 与 Post-Norm
SwiGLU / GeGLU
训练策略
学习率调度（Warmup + Cosine Decay）
批大小与梯度累积
混合精度训练（FP16 / BF16）
梯度检查点（Gradient Checkpointing）
ZeRO 分阶段优化
张量并行 / 流水线并行 / 数据并行
3D 并行与序列并行
规模化规律
Scaling Law（参数量、数据量、算力）
Chinchilla 最优配比
涌现能力（Emergent Abilities）
计算最优训练（Compute-Optimal）
上下文扩展
长上下文训练（Long Context）
位置插值（Position Interpolation）
YaRN / NTK 感知缩放
注意力近似与稀疏化
后训练
监督微调（SFT）
指令微调数据构造
多轮对话格式
掩码策略（仅对回答计算损失）
参数高效微调
LoRA / QLoRA
Prefix Tuning / Prompt Tuning
Adapter
对齐训练
基于人类反馈的强化学习（RLHF）
奖励模型训练
PPO 优化
直接偏好优化（DPO）
其他偏好优化
IPO / KTO / ORPO
SimPO / CPO
宪法 AI（Constitutional AI / RLAIF）
推理能力后训练
思维链数据微调（CoT-SFT）
拒绝采样与自我提升（STaR）
过程奖励模型（PRM）
结果奖励模型（ORM）
强化学习推理训练（RLVR / GRPO）
安全与对齐
红队测试（Red Teaming）
安全微调与拒答
价值观对齐
越狱防御
模型合并与蒸馏
模型融合（Model Merging / SLERP / TIES）
知识蒸馏（Teacher-Student）
剪枝与量化感知微调
评测
通用能力评测
MMLU / MMLU-Pro
BIG-bench / BIG-bench Hard
HellaSwag / ARC / WinoGrande
C-Eval / CMMLU（中文）
推理与数学评测
GSM8K / MATH
AIME / AMC
GPQA
代码评测：HumanEval / MBPP / SWE-bench
多模态评测
MMBench / MME
MMMU
视频理解评测
图像生成评测（FID / CLIPScore）
对话与指令评测
MT-Bench
AlpacaEval / Arena Elo
指令遵循（IFEval）
安全与鲁棒评测
有害内容评测
幻觉评测（Hallucination）
偏见与公平性评测
对抗鲁棒性
评测方法
静态基准测试
模型竞技场（Arena / Elo）
LLM-as-a-Judge
人类评估
数据污染检测
动态与持续评测
红队竞赛与持续评估
自动化红队
社区众测与漏洞披露
基础设施与算力
训练框架与工程
分布式训练框架（Megatron-LM / DeepSpeed / FSDP / Colossal-AI）
并行策略编排（DP / TP / PP / EP 组合）
显存优化与重计算（Activation Checkpointing / Offload）
通信优化（梯度压缩 / 通信重叠 / 集合通信库 NCCL）
训练稳定性（损失尖刺 / 数值溢出 / 断点续训）
容错与弹性训练（Elastic Training / 故障恢复）
实验管理与超参搜索（MLOps / 实验追踪）
算力底座
加速芯片（GPU / TPU / NPU / 国产算力）
集群互联（NVLink / NVSwitch / InfiniBand / RoCE）
存储与数据加载（并行文件系统 / 高速缓存）
算力调度与编排（Slurm / Kubernetes / 资源配额）
集群监控与能效（功耗 / 温度 / 利用率）
算力成本与租用（自建 vs 云 / 竞价实例）
推理服务化
推理引擎（vLLM / TensorRT-LLM / SGLang / TGI）
服务编排与扩缩容（Kubernetes / 自动弹性）
批处理与调度（Continuous Batching / 优先级队列）
缓存与加速（KV Cache 复用 / Prefix Cache）
LLMOps（版本管理 / 灰度发布 / A-B 测试）
监控告警（延迟 / 吞吐 / 错误率 / Token 成本）
成本与能耗优化（量化部署 / 混合精度 / 缓存命中）
