大模型推理测试内容
2025-06-24 14:45:32 0 举报AI智能生成
大模型推理测试内容
作者其他创作
大纲/内容
性能测试
在线性能
离线性能(可选)<br>
精度测试
在线精度<br>
离线精度(可选)<br>
稳定性
小数据集24压测<br>
Main Topic
多并发语义(待自动化)<br>
默认temperture/topp/topk<br>
不同temperature/topp/topk<br>
ctrc+c(待自动化)<br>
server端ctrl+c<br>
client端发送ctrl+c<br>
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
Main Topic
0 条评论
下一页
