千帆大模型平台
2024-03-17 14:51:34 1 举报AI智能生成
登录查看完整内容
大模型平台
作者其他创作
大纲/内容
有标注：固定格式有问有答的数据
无标注：固定格式有问无答的数据
标注
有排序：固定格式，一个问题多个答案，答案有优先级
无排序：固定格式，一个问题，一个答案
排序
文本对话
文本数据，无固定格式要求
范文本无标注
固定格式，只有问题无回答
query问题集
数据集
针对问题标注标注答案，可以使用AI大模型自动生成答案
在线标注
百度众测团队进行标记
众测标注
数据标注
标注文本对话无标注数据集
对文本对话无标注数据集、query问题集数据集进行数据处理
数据处理
服务返回的结果保存回数据集
数据回流
将问答文档到生成知识库
知识库
数据服务
消耗资源且效果不一定比LoRA好
全量更新在训练过程中对大模型的全部参数进行更新(不推荐)
全量更新
资源消耗较少
推荐5-10次迭代
LoRA在固定预训练大模型本身的参数的基础上，在保留自注意力模块中原始权重矩阵的基础上，对权重矩阵进行低秩分解，训练过程中只更新低秩部分的参数
LoRA
SFT
基于有标注数据集训练自己的模型
可以直接使用千帆大模型平台提供的通用语言大模型
1、训练或基于一个已有的大模型（LM）
使用含排序已标注数据集进行训练
2、集合问答数据训练一个奖励模型（RM）
使用query问题集数据，加奖励模型进行强化训练（LM）。生成强化后的模型
3、用强化学习（RL）方法微调LM
RLHF训练
大模型训练
我的模型和预制模型
模型仓库
使用已标注数据集评估模型
模型评估
通过量化、稀疏化等方法在尽量减少精度损失的前提下，降低AI加速卡资源占用，提高推理速度。
模型压缩
模型管理
可以基于预制、或者自己训练的模型服务API服务
服务管理
在线测试服务
在线测试
应用管理、api调用是基于应用的莫要调用
应用接入
统计服务调用量
调用统计
大模型服务
提示词模板
Prompt模板
提示词优化
Prompt优化
定义角色+北京描述+定目标+补充要求 （附加：+例子）
Prompt万能公式
prompet工程
知识库插件
ChatFile插件
百度搜索插件
天气插件
域内知识搜索插件
自定义插件
关联插件增强回复
插件编排
插件应用
千帆大模型平台
0 条评论
回复 删除
下一页
