RLHF人类反馈强化学习架构图
2026-03-15 10:59:19
0
举报
该图表详细展示了RLHF（人类反馈强化学习）的完整技术架构，流程分为三个核心阶段。阶段一为SFT监督微调，利用指令数据集训练模型遵循能力；阶段二为奖励模型训练，基于人类偏好数据构建奖励模型以学习打分；阶段三为PPO强化学习，引入KL散度约束优化策略模型。最终通过有用性与安全对齐维度，输出最终对齐模型。
参考模型 πref
策略模型 π
目标：学习人类偏好打分
奖励模型 (RM)
偏好数据集
人类排序标注
SFT 模型输出
目标：学习指令遵循能力
SFT 模型
人工标注
RLHF 人类反馈强化学习架构
有用性
安全 & 对齐
优化
阶段1：SFT 监督微调
最终对齐模型
标注
阶段2：奖励模型训练
目标：优化策略同时保持稳定
训练
阶段3：PPO 强化学习
预训练模型
指令数据集
PPO 优化器
KL 散度约束
模型传递
Prompt 输入
数据流
