大模型服务平台功能设计
2024-07-01 17:16:21 1 举报AI智能生成
登录查看完整内容
大模型服务平台是一个集各种AI模型、算法与开发工具于一体的创新型平台。它支持多种常见格式的文件，如.docx、.pptx、.pdf、.txt、.jpg、.png等，以满足不同用户的需求。大模型服务平台还提供了各种AI服务的API接口，包括语音识别、机器翻译、文本分类等，用户可以根据需求选择调用合适的API接口。此外，该平台还提供了一套全面、易用的开发工具，方便开发者进行模型训练、优化与部署。通过使用大模型服务平台，企业、开发者和个人用户能够快速、高效地进行AI项目开发与创新。
作者其他创作
大纲/内容
平台统一的数据管理模块，支持多源、多格式的结构化及非结构化数据管理，支持多类目管理及自动化在线解析，应用于RAG、训练等模块。
概述
新增自定义类目或使用默认类目管理数据，类目支持不同类型的配置，建议区分数据类型或数据源建设类目。
Step.1 新增类目
选择类目，导入数据，支持多类型数据的导入，自动化解析数据，可供给给下游训练、RAG等任务使用。
Step.2 导入数据
在线预览、查看和管理数据，按类目对数据进行增删改管理，支持增量数据的导入、数据同步和标签化管理。
Step.3 管理数据
在我的应用、模型训练等功能模块使用统一数据中心的数据，进行模型训练、索引构建，保障数据一致性。
Step.4 应用数据
流程
导入类目
类目类型
文档包括PDF、Doc、Docx等非结构化文档，系统将统一解析格式，提取文档内容，处理为应用、RAG、训练可用的原始数据。
文档
数据类型
本地上传
OSS
导入方式
文档识别
导入数据
功能
数据管理
任务名称
管理数据集
数据来源
数据清洗完成后，将在来源数据集下自动创建新的数据版本
数据流向
执行顺序
是否开启
Unicode文本标准化
繁体字转简体
A、文本标准化
去除URL链接
去除不可见字符
去除html格式化字符并解析出html文本
B、特殊内容移除
C、敏感信息打码
比例最大值
D、特殊字符占比过滤
E、敏感词过滤
长度N（窗口长度）
比率最大值，（N-Gram重复比率大于该值将过滤掉）
F、N-Gram重复比率过滤
G、长度过滤
H、MD5去重
I、文章相似度去重
算子类型
算子配置
A、文本Unicode标准化和繁体转中文
B 移除文本中的特殊内容，例如文章中的url、不可见字符、html格式字符等
C 将敏感信息打码，例如将邮箱地址字符替换成[EMAIL]，手机电话号码替换成[TELEPHONE]或[MOBILEPHONE]，身份证号码替换成[IDNUM]
D 根据特殊字符占比过滤文本，保留特殊字符个数占文本总长度比例不超过设定阈值的样本，特殊字符包括标点符号，数字，空格符号，emoji表情包等，超过设定比例的数据样本将被过滤
E 过滤掉带有敏感词的样本
F 保留字符级N-Gram重复比率不超过设定阈值的样本，超过阈值的样本将被过滤
G 根据文本长度过滤数据，长度范围之外的数据将被过滤
H 根据文本生成的MD5值对比去重，MD5校验一致的样本将被过滤
I 使用SimHash算法计算文本间的相似度，相似度超过阈值样本将被过滤
描述
A 大模型服务平台是企業專屬大模型生產平臺，基於通義基礎大模型，提供企業專屬大模型開發和應用的整套工具鏈。
B <article><p style=\"margin-top: 0px; margin-bottom: 0px;\"><span style=\
C 如需要咨询软件服务，请联系大模型产品负责人，联系方式：133****1234，邮箱：123****78@example.com，座机：0000-12****78，感谢您的来电咨询
D 您咨询的这个问题我暂时无法回答😭，请您提供更多信息以供参考😄{ordernumber}\"12361283iasdas702739127\"{userid}\"123712378612\"���🪓🪓
E TMD靠，今天天气非常不好，心情很糟糕，请讲个笑话给我听
F 落地大模型的关键在于应用落地大模型的关键在于应用落地大模型的关键在于应用落地大模型的关键在于应用
G 面向不同的企业需求，我们提供不同的功能服务。例如，智能问答、文档检索等场景，提供官方预置完整工程链路的应用或预置场景Prompt的应用，通过应用将大模型接入到业务解决方案中。细分领域电商场景的商品介绍、模型广场介绍等需要对推理结果进行定制调整，则可在百炼使用模型微调功能，快速生成行业场景模型定制服务，满足用户特定需求...
H 梯度下降是机器学习中一种常用的优化算法。梯度下降是机器学习中一种常用的优化算法。
I 梯度下降是一种优化算法，用于在机器学习中最小化损失函数。梯度下降是一种优化算法，用于在机器学习中找到损失函数的最小值。
效果预览（清洗前）
B 大模型服务平台是企业专属大模型生产平台，基于基础大模型，提供企业专属大模型开发和应用的整套工具链。
C 如需要咨询软件服务，请联系大模型产品负责人，联系方式：[MOBILEPHONE]，邮箱：[EMAIL]，座机：[TELEPHONE]，感谢您的来电咨询
H 梯度下降是机器学习中一种常用的优化算法。[MD5:2787bf71b3804f78b9b064a9a45a1c25]
I 梯度下降是一种优化算法，用于在机器学习中最小化损失函数。[相似度：100%]
效果预览（清洗后）
预置算子
算子选择
新建清洗任务
处理方式
处理状态
开始时间
操作
清洗任务列表
数据清洗
A 指令生成依赖样本数
B 生成样本数
C 过滤相似度阈值
参数
数值
A 生成指令时需要从处理前数据集（种子池）选出的样本数量，实际数量可能根据模型允许输入的长度有所调整
B 建议生成后数据集总样本数大于200，每个任务最多生成不超过2000条样本
C 只有生成样本的ROUGE-L小于阈值的样本才会添加到种子池，阈值越低，样本重复概率越低
说明
参数选择
新建增强任务
数据增强
根据需求，明确处理类型，包括处理、增强和分析，处理后的数据将生成新的数据版本
选择处理方式
根据数据应用的任务，选择需要处理的目标数据，可支持模型应用过程中的各类数据类型
选择目标数据
根据选择的数据处理方式，完成任务配置，不同的任务配置将影响处理效果，可根据实际情况调整
完成任务配置
数据清洗/增强/分析完成后，可通过详情页或数据流向查看处理结果，符合要求的数据可前往对应模块进行使用
检验处理结果
数据处理
创建和管理用于RAG应用的知识库索引，基于对数据中心的统一引用。
创建索引需要对索引方式进行配置，选择合适的检索方式。
创建知识库索引
配置知识库的同时可以选择已导入的数据，并配置chunk切分方法已达到最佳检索效果。
选择数据并配置
流程：
知识库名称
知识库描述
非结构化数据
结构化数据
推荐配置，在效果、推理成本、检索时延等方面的最佳实践
通过细化和调整用户的原始输入query来提升检索结果的精确度和相关性，同时在多轮对话场景中，该模块能够适应上下文的变化，确保查询与当前对话的连贯性，从而提供更加连贯、一致且用户友好的交互体验，使得整个对话流程更加自然和高效。
多轮对话改写
DashScope text-embedding-v2，商业化向量模型，除了中英双语，支持多语种，向量结果默认归一化处理
官方向量
Embedding模型
对检索结果进行排序，提升检索效率、保持信息精确性、增强内容多样性，确保最终检索结果的满意度：官方排序：GTE排序模型，通过深度学习和预训练语言模型的技术，提供高效、准确的排序解决方案
Rank模型
设定最低分数标准，只有超过这个阈值的检索结果才会被考虑用于后续的生成过程
相似度阈值
开启排序模型后，将对存储引擎检索回来的结果进一步排序，并根据相似度阈值筛选大于阈值的文档片段，关闭排序模型后，相似度阈值将会失效
推荐配置
完全开放的离线知识库配置，按照检索需求自由配置，获得推理效果和时延方面的不同体验
结合预训练语言模型和传统文本特征融合的排序策略，提供高效、精准的文本排序结果
官方排序
GTE排序模型，基于预训练语言模型的深度排序模型，提供高质量的语义相关性排序
GTE-ReRank
排序配置
自定义
知识库配置
内置
ADB-PG
向量存储类型
创建
知识索引
概述：模型数据支持创建不同数据类型的数据集，包括训练集、评测集，支持多版本数据管理，发布后可前往模型调优/评测功能使用
创建数据集，支持多种数据类型，数据可存储至平台中
创建数据集
上传符合条件的数据集，创建草稿数据版本
导入数据
编辑导入的数据版本，完成后可发布至正式版本
编辑数据
完成数据发布后，可前往模型调优或模型评测使用模型数据
发布及使用数
数据集名称
由一轮或多轮的Prompt+Response数据组成，支持ChatML数据格式，可用于模型SFT微调训练
训练集
仅包含Prompt的数据，可用于模型评测，验证模型效果
评测集
数据集类型
平台存储：存储在平台中，由平台提供一定的存储空间
存储位置
选择的文件进行上传，数据格式可下载模板查看，支持批量上传，一次最多导入10个文件
数据模板
支持扩展名：xls、xlsx，文件最大20MB一次最多导入10个文件
数据导入
新增
RLHF数据集
类型
模型数据
数据应用
数据中心
您可以在这里查看专属模型的用量统计，以获得模型的使用情况。
调用量统计（单位：TOKEN）
模型调用次数
调用统计
依据业务需求自定义评测维度，更好的从业务角度评测模型效果，支持多级、多维度、自定义分数功能，适用于特定业务效果的评测。
自定义维度
系统预置的评测维度，如综合评价维度、摘要任务维度、生成式任务维度、分类维度等，适用于一般性通用任务效果的评测。
系统预置维度
在模型评测中选择此处创建的维度模板，评测任务发起后，评测同学基于已选择的评测维度进行评测。
引用维度模板
依据评测需求增加维度模板，支持自定义多级维度、多级分数，预置多种维度模板，可应用于主流评测任务。
依据业务需要设计评测维度模板，设计指标体系及分数。
Step.1 判断业务需求
新增维度模板，完成分级配置、分数配置及说明配置。
Step.2 配置维度模板
创建评测任务时可引用及预览维度模板。
Step.3 引用维度模板
依据业务需求对维度模板进行优化、管理和删改。
Step.4 管理维度模板
评测维度
模板名称
维度名称
量级
维度说明
维度描述是用户评测时所看到的维度明细文案，如数字型如“1分-7分”的7阶维度，文本型如“非常差、较差、一般、较好、好”5阶维度
添加描述
从左到右的评分描述，例如最左边代表“效果差”，最右边代表“效果好”
分值注释
维度分值用于报表分值计算和报表生成，默认从左往右为1-N分，左侧分数最小，右侧分数最大，可自定义分数逻辑，与维度描述映射，如非常差-1、较差-2、一般-3、较好-4、好-5，用户评测时仅会看到描述，不会看到分值，分值为后台计算逻辑
对应获得分值
新增维度模板
系统工具
用户管理
角色管理
权限管理
系统管理
API-KEY
创建时间
查看我的API-KEY
模型广场提供多种模型选择，包括通用模型、三方开源模型、行业领域模型等，您可以依据业务需求选择合适的模型进行接入
模型广场
system
top
配置
模型配置
默认为一个模型
增加模型
模型体验
全参训练：影响模型全量参数的微调训练，效果较好
高效训练：影响模型局部参数的微调训练，效果接近或略差于全参训练
模型调优支持两种训练方式，分别为全参训练和高效训练，解释如下：
训练方式
预置模型
自定义模型
微调训练模型可以支持企业自定义训练数据，完成模型的微调训练，微调训练将影响模型的效果，选择合适的数据将使得模型效果更加适配企业的业务需求。企业可以选择基于企业专属大模型的基线版本进行微调，也可以选择基于已微调的模型版本上进行进一步微调。
选择模型
训练数据
验证数据
混合训练
超参配置
开始训练
训练新模型
模型调优
单个评测
对比评测
基线评测
评测方式
评测数据
开始评测
模型评测
模型部署
模型工具
模型中心
在这里您可以挑选官方预置完整工程链路的应用或预置场景prompt的应用，通过应用将大模型接入到业务解决方案中。
官方应用
应用模板
最佳实践
应用广场
我的应用
Prompt工程
插件管理
流程管理
应用评测
应用组件
应用中心
大模型服务平台（参考）
0 条评论
回复 删除
下一页
