大模型流式输出中断后如何恢复对话与生成状态
过去一周,多家模型服务商的后台监控显示,用户主动中断流式输出的比例稳定在 8%~12%。中断不是边缘场景,而是常态:用户嫌啰嗦手动点停止、网络抖动、反向代理超时、移动端切后台,任何一环都能让一条生到一

过去一周,大模断后多家模型服务商的型流后台监控显示,用户主动中断流式输出的式输比例稳定在 8%~12%。中断不是出中成状边缘场景,而是何恢话生常态:用户嫌啰嗦手动点停止、网络抖动、复对反向代理超时、大模断后移动端切后台,型流任何一环都能让一条生到一半的式输回复戛然而止。问题在于,出中成状多数推理引擎的何恢话生默认策略是直接丢弃已生成 token,下次对话从零重算,复对上下文里只剩下突兀的大模断后半句话。
中断丢状态是型流成本与体验双重损耗
流式输出靠 SSE 逐 token 推送,客户端断开连接后服务端往往停止生成并释放 KV cache。式输表面看省了算力,实则把已产生的几百到上千 token 全部浪费。某中小团队日志显示,其客服机器人每天因中断丢弃的 token 约 230 万,按 GPT-4o 级定价折合每天损失约 11 美元——不算大,却足够跑一晚的实验。更糟的是用户侧:中断后追问“继续”,模型要么从头编,要么答非所问,因为前文生成状态没有持久化。处理这个问题的通用做法是在服务端保存已生成内容和截断后的对话快照,下次请求时把半截回复作为 assistant 消息注入,模型知道“刚才说到哪了”。
缓存游标决定恢复成本能否承受
大模型流式输出的中断恢复教程里常被忽略的一环是 KV cache 管理。只存文本不存缓存,恢复时要把全部上下文重新编码,长文档场景下延迟翻倍。vLLM 和 SGLang 支持 prefix caching,按 token 序列哈希复用已算过的 key-value 状态。中断发生时记录最后一个完整 token 的位置,在缓存树上对应游标;用户点击继续,从该游标处启动续写,首 token 延迟可以压到 200ms 内。实际落地中,部署团队更愿意跑一个轻量级外部协调层:Redis 存会话元数据和最后 cursor,推理服务保持无状态水平扩展。代价是增加一次查询,换来回话不绑定特定 pod。
中断恢复不等于无脑续写原回复
常见的操作错误是原样续写。用户停掉一段啰嗦回答后点“继续”,期望的是更精炼或换方向,不是把后半截也吐出来。恢复逻辑里应当嵌入一个轻量 prompt 重写:将已生成片段压缩为“你此前回答到:……用户希望继续时更简洁”。某文档助手产品在中断续写前抹掉最后一句不完整内容,只保留完整句子作为锚点,并提示模型“补充剩余要点”,实测续写满意率比直接拼接高 19 个百分点。另有一个边界必须处理:中断可能发生在工具调用中途,比如 function call 的 JSON 参数只生成了三分之二。此时不能挟带残缺 JSON 进入下一轮,会污染 token 分布。正确做法是丢弃未完成的工具调用帧,回到调工具前的状态重新触发。
判断一家服务商流式方案是否成熟,看它中断后重连的游标精度和处理半截 JSON 的机制就够了。对自研网关的团队,建议把最后有效 token 的持久化当作硬性指标写进验收清单,而不是等线上用户骂“怎么每次都要重来”再补。
上一篇:链上投票法定人数多少算通过