在线咨询
专属客服在线解答,提供专业解决方案
工单支持
专业技术支持团队,随时响应服务需求

Voice Agent 为什么比 Chatbot 更需要上下文管理?

开发 Chatbot 时,通常需要保留用户的历史消息,让模型理解当前问题与前文之间的关系。Voice Agent(语音智能体)同样需要这些信息,但还要处理语音对话中的停顿、打断、重复、识别错误和回复播放状态。

例如,在 AI 电话客服中,用户询问:“我的订单什么时候能送到?”

AI 查询物流信息后开始回答:“您的订单预计明天下午三点到五点送达,配送员会提前……”

话还没说完,用户突然插话:“等等,我想改一下收货地址。”

这时系统至少要处理三件事:停止当前语音播报,理解用户新的修改需求,并保留前面已经确认的订单信息。

还有一个容易忽略的问题:模型可能已经生成了完整的物流回答,但用户实际只听到了前半句。如果系统直接把完整回答当作已经说过的内容保存到上下文中,后续对话就可能出现偏差。

文本 Chatbot 通常以消息为单位管理对话,用户能够查看之前的回答;实时 Voice Agent 则需要同时跟踪用户说了什么、AI 生成了什么、实际播放了什么,以及当前对话进行到了哪一步。

这些信息共同决定了下一轮回复是否准确、自然。


一. Voice Agent 和 Chatbot 的上下文管理有什么区别?

Context(上下文)是模型在当前推理过程中可以使用的信息,包括系统指令、历史对话、用户输入、检索结果和工具调用数据。

Chatbot 与 Voice Agent 都依赖上下文理解连续问题。例如,用户先问某款产品的价格,接着问“它支持哪些平台”,系统需要知道“它”指的是刚才的产品。

这种指代关系,在文本和语音中都存在。

区别主要发生在交互过程。

对比维度 文本 Chatbot 实时 Voice Agent
用户输入 通常是已经提交的完整文本 连续音频,可能出现停顿和自我修正
对话轮次 通常以消息提交作为边界 需要判断何时开始和结束说话
打断处理 通常可取消或停止文本生成 需协调音频播放、生成任务和上下文状态
历史内容 可以直接查看文字消息 需结合转录结果、播放进度及事件记录
响应要求 以合理的文本响应时间为主 还要考虑轮次检测和用户感知的开口等待

这里的 Chatbot 指常见的轮流收发文本消息的产品。支持实时语音、流式输出和工具调用的多模态 Chatbot,同样会遇到部分问题。

因此,并不能说 Chatbot 不需要上下文工程。Voice Agent 的要求更复杂,是因为系统还要根据实时音频事件不断调整上下文。


二. 用户什么时候说完,决定了模型什么时候开始回答

文本聊天通常有明确的消息提交动作。用户打完文字,点击发送,系统就知道这条输入已经完成。

语音对话没有天然的发送按钮。

用户说到一半可能停下来思考,也可能刚说完一句话就继续补充。系统需要根据音频信号和对话内容判断,当前这一轮讲话是否已经结束。

1. VAD 可以检测声音,但不一定知道句子是否说完

VAD(Voice Activity Detection,语音活动检测)用于判断音频中是否存在语音活动。

例如,用户说:

“我想预约明天下午……三点左右的时间。”

中间的停顿可能持续一两秒,但用户并没有结束表达。

如果系统只依据固定静音阈值决定结束发言,就可能在“明天下午”之后立即生成回复。

一旦模型收到不完整的用户输入,它就可能过早提出澄清问题,甚至根据错误的时间信息执行工具调用。

2. 语义判停结合内容判断对话是否完成

语义轮次检测(Semantic Turn Detection)可以结合用户的表达内容,判断当前是否更可能已经结束发言。

例如,“我有三个问题,第一个是……”通常意味着用户还准备继续说;“好的,就按这个时间预约”则更接近一个已经完成的请求。

不过,语义判停也不是完全准确。它需要结合 ASR 结果、音频信号和当前对话状态,并在实际业务中测试不同用户的说话习惯。

等待过短容易抢话,等待过长又会增加回复延迟。

因此,轮次判断实际上参与了上下文管理:系统需要决定何时将用户的当前语音确认为完整输入,再交给模型处理。

3. ASR 的中间结果不能直接当成最终事实

流式 ASR 会在用户讲话过程中不断输出识别结果。

早期结果可能随着后续音频到达而发生变化。

例如,用户说“我要订周四的票”,中途又纠正为“不对,是周五”。

系统不能在听到“周四”时就把它写成最终的订票日期。

对于日期、金额、地址、姓名和订单编号等关键字段,业务系统应在适当时机使用最终识别结果,并按任务风险设置确认流程。

这也说明,Voice Agent 的上下文不能简单等同于不断追加的 ASR 文本。临时识别结果、确认后的用户意图和业务系统中的正式记录,需要分别管理。


三. 用户打断 AI 后,哪些内容应该保留在上下文里?

在 Voice Agent 中,Barge-in 通常指用户在 AI 正在说话时主动插入新的语音,要求系统改变当前的对话流程。

打断并不只是停止播放器。

对于使用 LLM 和 TTS 的语音系统,文字生成与语音播放可能存在时间差。模型已经生成的内容,未必已经完整转换为语音,更不一定全部播放到了用户耳中。

1. 已生成的回复,不等于用户已经听到的回复

假设 AI 正在介绍产品套餐:

“基础版每月支持一万分钟,专业版支持五万分钟,企业版还提供……”

用户听到“基础版每月支持一万分钟”时,突然问:

“这个分钟数超了怎么收费?”

此时,后续两种套餐的介绍可能已经由模型生成,但用户尚未听到。

如果下一轮上下文保留完整的 AI 原始回答,模型可能误以为用户已经了解专业版和企业版的细节。

更合理的做法是,根据可获得的音频播放进度和打断事件,尽可能记录实际已播报的内容,并保留原始生成结果供日志与调试使用。

这两类信息用途不同:前者参与后续对话,后者用于排查问题。

2. 打断后需要同时更新对话状态

如果用户打断 AI 后更换了需求,系统还需要取消或调整当前尚未完成的操作。

例如,AI 正在朗读一个酒店推荐方案,用户突然说“预算改成五百元以内”。

这时除了停止播报,还应该让后续检索与推荐采用新的预算。

如果上一轮查询还在执行,也需要判断其结果是否仍然有效。

尤其对于订票、支付和设备控制等场景,停止语音回复并不代表已经取消后台操作。应用必须通过业务状态机或工具接口处理相应的取消与确认。

3. 简短附和不一定是真正的打断

人类对话中经常出现“嗯”“对”“我明白”等简短回应。

这些表达可能只是表示正在聆听,并不要求 AI 停止讲话。

如果系统检测到任何人声都立即中断,就可能造成频繁停顿。

因此,一些语音 Agent 框架开始使用自适应打断检测,结合音频信号判断用户是在提出新要求,还是只是发出简短附和。

例如,LiveKit Agents 的 Adaptive Interruption Handling 就专门针对真实打断与 Backchannel(附和反馈)的区别进行了设计。

这一问题属于轮次和打断管理;具体是否需要更新对话上下文,还取决于系统如何处理打断事件以及用户后续输入。


四. 一次语音对话包含多种状态,不能只保存聊天记录

对于文本 Chatbot,常见的历史消息结构是一个按时间排列的消息列表,包含 user、assistant 和工具调用结果。

Voice Agent 也可以使用类似结构,但需要记录更多与音频交互相关的状态。

例如,某一轮对话可能出现以下过程:

  1. 用户开始讲话。
  2. ASR 持续输出中间识别结果。
  3. 系统确认用户结束发言。
  4. LLM 开始生成回复。
  5. TTS 开始输出语音。
  6. 用户中途打断。
  7. 旧的播放任务停止,系统处理新的用户输入。

如果只保存最后两条聊天文本,就无法完整还原为什么回复被打断、用户究竟听到了多少,以及是否出现了错误的轮次判断。

1. 对话内容与交互事件分开记录

一个可维护的语音系统,通常需要区分两类记录。

第一类是对话内容,例如用户最终确认的输入、AI 已播报的回复和工具查询结果。

第二类是交互事件,例如说话开始、说话结束、打断、播放完成、工具超时和网络断开。

对话内容主要供模型理解当前任务;交互事件则用于确定哪些内容有效,以及系统应该继续执行哪一步。

2. 按对话轮次关联内容与事件

实际开发中,可以为每轮对话设置唯一的 Turn ID,并记录事件发生时间。

例如:

{
  "turn_id": "turn_08",
  "speaker": "assistant",
  "generated_text": "您的订单预计明天下午送达,配送员会提前联系您。",
  "interrupted": true,
  "played_text": "您的订单预计明天下午送达",
  "playback_status": "interrupted"
}

这是应用层的简化数据示例,不属于统一的 Voice Agent API 标准。

实际能否获得准确的 played_text,取决于音频生成、字幕对齐、播放器回调和同步机制。不能仅根据 TTS 已生成多少文本,就认定用户听到了相同内容。

3. 区分短期对话记忆与业务状态

用户刚刚问过的问题,可以保存在当前会话的短期记忆中。

但订单是否已经取消、预约是否已经成功,则应该由业务系统提供权威状态。

例如,Agent 告诉用户“正在修改地址”,并不意味着物流系统已经成功更新地址。

系统应在工具返回确认结果后,更新业务状态,并根据结果继续回复。

否则,即使对话历史看起来完整,也可能与真实业务执行情况不一致。


五. 工具调用越多,Voice Agent 越需要控制上下文和等待时间

很多 Voice Agent 已经不局限于语音问答,而是需要完成实际业务操作。

AI 电话客服可能查询订单、提交工单、预约服务;AI 外呼可能核实客户信息、更新 CRM;AI 面试官可能查询当前题目或保存面试进度。

这些操作需要调用外部系统。

1. 工具返回的数据不一定都需要进入上下文

假设用户询问订单是否发货。

订单接口返回了几十个字段,包括订单金额、商品清单、收货地址、内部处理标识和物流节点。

如果用户只是想知道当前物流进度,模型通常只需要订单状态、最新物流节点、预计送达时间,以及需要告知用户的异常信息。

其他字段应根据业务权限和当前任务选择性提供。

这样既能减少 Token 消耗,也能降低无关或敏感数据进入模型上下文的风险。

2. 检索时间会影响用户感知的语音延迟

一次语音回复的等待时间,可能包含轮次确认、语音识别、模型生成、知识库检索、工具调用、语音合成和播放缓冲。

这些环节有些能够并行执行,因此不能简单把每个服务的单独耗时机械相加。

但如果某次回复必须等待外部接口返回,工具调用就可能成为关键路径。

例如,AI 客服查询库存时,后端系统需要较长时间才能返回结果,用户就可能听到明显的停顿。

对此,开发者可以考虑缓存不频繁变化的知识、减少不必要的工具调用,并在需要等待时给出符合实际处理状态的提示。

对于价格、库存、支付和订单状态等数据,应优先保证准确性,不能为了降低响应时间而直接使用可能过期的历史结果。

3. 旧工具结果可能在打断后失效

例如,用户原本要求查询北京到上海的机票,Agent 正在调用查询接口。

用户突然改口:“出发地换成杭州。”

如果前一个查询稍后才返回结果,系统不能直接把北京出发的航班提供给用户。

业务层可以为工具调用关联当前任务版本或请求 ID。需求发生变化后,取消尚可取消的请求;对于不能取消的请求,则在结果返回时检查它是否仍属于当前任务。

这属于上下文和工作流状态管理的重要部分。

同一条工具结果是否还能使用,需要根据用户最新的要求判断。


六. Voice Agent 的上下文应该怎样组织?

针对实时语音业务,可以按信息的有效范围,将上下文划分为不同层次。

这样做主要是为了避免把长期用户信息、当前通话内容和不断变化的业务数据混在一起。

1. 固定业务规则

包括 Agent 的职责、允许执行的操作、服务流程、需要确认的关键字段以及不允许自行作出的承诺。

这些信息可以通过 System Prompt、业务配置或服务端规则提供。

涉及支付、权限和业务审批的限制,还必须由业务程序实际执行校验。

2. 当前会话上下文

包括当前用户已确认的意图、最近几轮问答、AI 已播报的内容,以及必要的轮次状态。

这部分信息变化最频繁。

例如,用户先要求预约明天下午,接着将时间改成后天下午,当前会话应以最新确认的时间为准。

3. 当前业务状态

包括正在处理的订单、工单、预约或其他任务的状态。

这类信息最好通过结构化字段保存,并在关键操作后根据业务系统的实际结果更新。

对于需要恢复的长任务,可以使用工作流 Checkpoint 保存执行进度。

4. 跨会话 Memory

长期记忆保存不同会话之间仍然可能有用的信息,例如用户明确允许保留的偏好、已完成的学习内容或过去的服务记录。

并不是每一次模型调用都需要加载全部长期记忆。

系统可以根据用户身份、当前意图和任务类型检索相关记录,将必要内容加入当前上下文。

关于记忆的存储、检索和更新,可进一步阅读AI Agent Memory 是什么?为什么 Agent 需要长期记忆?。

5. 工具结果和外部知识

产品文档、库存信息、业务 API 返回值和实时查询结果,可以按需提供给模型。

例如,用户咨询某项产品功能时,通过 RAG 从对应版本的产品文档中检索;需要查询订单进度时,则调用订单系统。

检索结果应保留必要的来源和时间信息,避免使用过期知识。

这种上下文组织方式属于 Context Engineering(上下文工程)。它不仅涉及如何写 Prompt,还包括信息的选择、检索、更新和压缩。

有关这部分的完整技术原理,可阅读Context Engineering 是什么?为什么它正在取代 Prompt Engineering?。


七. 如何在 Voice Agent 中减少上下文处理带来的延迟?

上下文越丰富,通常需要处理的数据就越多。但对于语音 Agent,不能只关注上下文完整性,还需要控制用户等待时间。

可以从以下几个方面优化。

1. 通话开始前加载稳定信息

如果业务场景能够在通话开始前确认用户身份,可以提前准备必要的用户资料和服务记录。

例如,在 AI 口语陪练中,系统可以提前加载本次练习主题、用户学习进度和上次需要改进的问题。

这样用户开始练习后,就不需要每次重新查询相同的信息。

但对实时变化的业务状态,仍应在实际操作前重新确认。

2. 按需检索,避免每轮查询所有知识库

如果用户只是确认“好的”,通常不需要重新检索整份知识库。

开发者可以根据当前意图和业务状态判断是否真的需要 RAG 或外部 API 调用。

对于复杂问题,可以只返回相关文档片段和可验证的来源,而不是将整篇文档加入模型输入。

3. 压缩长会话中的旧信息

一通持续几十分钟的语音对话,可能积累大量文字转录。

随着会话增长,可以将已经完成的部分整理为摘要,同时保留当前问题、重要事实和未完成事项。

需要特别注意的是,金额、时间、订单编号等重要字段最好保留原始结构化记录,不应完全依赖自然语言摘要。

如果摘要遗漏或改写了关键内容,后续对话仍可能出错。

4. 让业务状态与模型对话历史相互校验

例如,用户已经通过工具成功修改预约时间,但历史对话摘要还保留着旧时间。

业务服务应优先使用预约系统确认的结果,并更新当前上下文。

对于重要操作,可以把成功结果、操作时间和业务对象 ID 保存为结构化数据。

这样即使对话历史经过压缩,也能重新恢复可靠的任务状态。

5. 评估完整的语音响应链路

判断 Voice Agent 的速度,不能只看 LLM 的首 Token 延迟。

还需要观察用户结束讲话后,系统经过轮次判断、模型处理和语音合成,到用户真正听到 AI 回复的时间。

对于不同架构,ASR、LLM 和 TTS 可能是独立模块,也可能由端到端 Speech-to-Speech 模型处理。评估时应根据实际技术架构区分各阶段。

同时,还要检查长对话、工具调用、弱网和用户打断情况下的性能变化。


八. 使用声网对话式 AI 引擎,如何管理语音对话上下文?

如果开发者准备搭建 AI 客服、AI 外呼、口语陪练或其他实时 Voice Agent,可以利用声网对话式 AI 引擎提供的实时语音交互能力,再结合自己的业务系统管理上下文。

根据声网官方文档,对话式 AI 引擎提供短期记忆、轮次检测、打断处理、自定义 LLM 和实时字幕等能力。

1. 利用短期记忆维护当前会话

声网对话式 AI 引擎会在智能体生命周期内维护短期对话记忆。

官方文档中,短期记忆包含用户和智能体消息,并可携带 turn_id、时间戳和消息来源等信息。

对于被打断的智能体消息,还提供 interrupted、interrupt_timestamp 等元数据,以及模型原始生成内容。

这类信息可以帮助开发者区分普通回复与被打断的回复,并排查历史消息为什么与用户实际听到的内容不同。

需要注意,这里的短期记忆属于当前智能体会话的历史信息管理。跨会话长期记忆仍需要根据业务要求进行外部存储和检索。

2. 配置轮次检测与打断行为

声网对话式 AI 引擎通过轮次检测判断用户开始和结束讲话,并通过独立的打断配置处理用户在智能体说话期间的输入。

当前版本的相关配置主要位于 properties.turn_detection.config 和 properties.interruption。

开发者可以根据业务场景调整结束发言判断和打断策略。例如,口语陪练需要给用户留出思考时间;AI 客服则通常需要允许用户及时纠正订单或地址信息。

对于需要完整播报的特定内容,也可以结合业务规则设计适当的打断控制,但不能以此替代必要的用户确认机制。

3. 使用自定义 LLM 接入 RAG 和业务上下文

声网对话式 AI 引擎支持通过兼容 OpenAI Chat Completions API 的自定义 LLM 服务进行对话处理。

开发者可以在自己的 LLM 服务中调用知识库、Memory 系统或业务 API,对检索结果进行筛选,再组织模型输入。

例如,用户提出“继续上次的英语练习”时,业务服务检索已完成课程和练习目标,将相关信息提供给模型,随后通过实时语音链路继续交流。

这种方式可以把语音传输、实时对话控制与业务上下文管理分开实现。

具体接口可参考声网官方自定义大模型和智能体短期记忆文档。

4. 通过 RTM 传递必要的临时状态

部分语音应用需要将客户端的即时状态提供给 Agent。

例如,口语练习页面当前选中的题目、用户点击的练习模式或界面中的临时评分信息。

声网官方文档介绍了结合 RTM SDK 传递自定义上下文信息的方法。

应用可以在适当配置后,通过实时消息机制将这些状态提供给智能体,用于影响当前对话。

但实时状态同步不等于业务数据持久化。用户最终成绩、订单结果和需要长期保存的任务进度,仍应写入对应业务系统。


九. Voice Agent 上下文管理需要测试哪些指标?

在文本环境中测试 Agent,可以先检查问答正确率、工具调用是否成功,以及历史消息是否被正确使用。

Voice Agent 还需要加入真实音频测试,尤其是用户停顿、插话、背景声音和网络变化等情况。

建议重点关注以下指标。

测试维度 需要验证的问题
轮次判断 用户短暂停顿时,AI 是否抢话或等待过久
智能打断 用户插话后是否及时停止播报,是否误判简短附和
上下文一致性 被打断的未播报内容是否错误影响后续回答
ASR 质量 金额、时间、订单号和专业术语是否被准确识别
业务状态 用户更改需求后,旧工具结果是否仍被错误使用
语音响应延迟 用户结束讲话到真正听到回复之间的等待时间
长期记忆 跨会话信息能否正确检索,旧记录是否影响当前业务
权限与隐私 是否出现跨用户记忆混用、未经授权的历史信息调用

测试时最好采用真实语音或音频模拟,而不只是向模型发送整理好的文本。

因为很多问题发生在语音处理阶段。文本测试能够验证模型如何回答,却无法完整验证模型什么时候开始回答、用户插话时会不会停止,以及实际播放的内容与对话历史是否一致。

对于长期运行的 Voice Agent,还应结合会话日志、工具执行记录和用户端播放事件进行排查,定位问题到底发生在语音识别、上下文检索、模型回复还是媒体播放环节。


十. Voice Agent 上下文管理的关键是什么?

文本 Chatbot 和 Voice Agent 都需要准确理解历史消息、检索外部信息,并在多轮交流中保持一致。

实时语音场景增加了更多需要同步管理的状态。

用户可能还没说完,ASR 就已经产生中间结果;模型可能已经生成回复,但语音还没有播放完;用户中途更改要求时,后台工具可能仍在执行旧任务。

如果上下文只记录“用户说了什么、模型回答了什么”,这些变化就很难被正确处理。

因此,Voice Agent 的上下文管理需要结合对话内容、轮次事件、音频播放状态、工具执行状态和业务数据。

对于开发者,首先应保证当前会话能够正确处理停顿与打断,并将关键业务状态保存在模型之外。随后再根据业务需要引入 RAG、长期 Memory 和上下文压缩。

声网对话式 AI 引擎可以帮助开发者搭建实时语音交互链路,并提供短期记忆、轮次检测、打断和自定义 LLM 接入能力。长期记忆检索、业务流程和外部数据管理,则需要与应用自己的服务配合完成。

只有对话历史、实时交互状态和业务结果保持一致,Voice Agent 才能在连续交流中正确理解用户的新要求,并继续完成任务。


在声网,连接无限可能

想进一步了解「对话式 AI 与 实时互动」?欢迎注册,开启探索之旅。

本博客为技术交流与平台行业信息分享平台,内容仅供交流参考,文章内容不代表本公司立场和观点,亦不构成任何出版或销售行为。