Streamable HTTP 交互流程图
2026-02-11 11:15:54 0 举报
Streamable HTTP 是基于标准 HTTP 分块传输的双向流式通信协议,无需 WebSocket 即可实现低延迟实时数据推送,是大模型 API 流式输出的主流方案。
作者其他创作
大纲/内容
application/json(标准响应)
传输格式
HTTP/2MultiplexingServer Push
HTTP/1.1Keep-AlivePipeline
TRANSPORT
错误处理网络错误 | 超时 | 断线重连
流式解析器NDJSON 解析 | SSE 解析增量渲染 UI
模式B: 流式响应response.body.getReader()逐块读取
模式A: 标准响应JSON.parse()一次性处理
业务逻辑层工具执行 | 资源获取 | 提示词渲染
MCP Controller协议版本协商认证鉴权
智能路由器解析 Accept Header判断流式/标准
POST /mcp统一端点入口
SERVER LAYER
— 实线: 同步流程 | - - 虚线: 可选/异步流程
■ 客户端层 | ■ 传输层 | ■ 服务器层 | ■ 基础设施层
连接管理按需建立用完即关连接池复用
■ 流式响应路径 (分块传输)
编码方式Transfer-Encoding: chunkedContent-Encoding: gzip/br
■ 标准响应路径 (即时返回)
text/event-stream(兼容模式)
图例说明
application/x-ndjson(流式响应)
ServerlessAWS Lambda / Cloud Run按请求计费
自动扩展HPA / KEDACPU/Memory/Request 指标
CDNEdge Caching(静态资源)
负载均衡器Nginx / ALB / EnvoyRound-Robin / Least-Conn
INFRASTRUCTURE
状态存储 (可选)Redis | Database会话状态 | 续传令牌
流式响应ReadableStreamasync generatorchunked encode
标准响应JSON.stringify()Content-Length
响应构建器
标准响应HTTP 200 OKContent-Type: application/json
Streamable HTTP 架构流程图
部署模式容器化 (Docker/K8s) | Serverless | 边缘节点
MCP Protocol 2025-03-26 | 统一端点 · 按需流式 · 无状态扩展
性能基准延迟: 7.5ms @ 1000并发内存: <5KB/请求成功率: ~100%扩展性: 线性水平扩展
Rate LimitQuota
CLIENT LAYER
TLS 1.3mTLS
HTTP ClientFetch / Axios / HTTP/1.1
OAuth 2.0JWT Token
请求构建器方法: POST/GET路径: /mcpspan style=\"font-size:11px; font-family:Helvetica; color:#000000; letter-spacing:0px;\
会话管理 (可选)Header: Mcp-Session-Id续传: Last-Event-ID恢复: Resumption Token
响应处理器
安全机制
Tracing(Jaeger)
Logging(ELK/Loki)
Metrics(Prometheus)
可观测性
收藏
0 条评论
下一页