大模型 | LLM构建流程
2023-09-12 15:10:32 3 举报
登录查看完整内容
大规模语言模型构建流程——主要包含四个阶段：预训练、有监督微调、奖励建模、强化学习。
作者其他创作
大纲/内容
1-100 GPU
十万量级用户指令
模型
语言模型训练
RL 模型
预训练
强化学习方法
基础模型
月级别训练时间
标注对比对
参考书籍：大规模语言模型从理论到实践（2023）@张奇 桂韬 郑锐 ⻩萱菁
有监督微调
用户指令
强化学习
1000+ GPU
二分类模型
天级别训练时间
RM 模型
奖励建模
百万量级标注对比对
数千亿单词：图书、百科、网页等
OpenAI使用的大规模语言模型构建流程
标注用户指令
SFT 模型
资源需求
原始数据
算法
数据集合
数万用户指令和对应的答案
0 条评论
回复 删除
下一页
