在线咨询
专属客服在线解答,提供专业解决方案
工单支持
专业技术支持团队,随时响应服务需求

Context Engineering 是什么?为什么它正在取代 Prompt Engineering?

Context Engineering(上下文工程)是指在大语言模型运行过程中,选择、组织和管理模型所需的上下文信息,使模型能够根据当前任务获得正确的指令、数据和执行状态。

这里的上下文不只是用户输入的 Prompt,还包括历史对话、检索到的文档、Agent Memory、工具调用结果、业务数据和任务状态等。

2025 年,Context Engineering 开始受到 AI 开发社区的广泛关注。Shopify CEO Tobi Lütke 和 AI 研究者 Andrej Karpathy 先后讨论了这一概念。随后,LangChain 与 Anthropic 发布专门的技术文章,将它作为 AI Agent 开发中的重要工程问题。

不过,Context Engineering 并没有让 Prompt Engineering 失去作用。Prompt 仍然需要清晰、准确。变化在于,开发者需要管理的范围已经从一段指令扩展到整个模型输入和持续变化的任务上下文。


一. Context Engineering 是什么?

大语言模型生成回答时,需要根据本次请求提供的信息进行推理。

这些信息共同构成模型的 Context(上下文),包括系统指令、用户消息、历史对话、参考资料、工具定义,以及工具返回的数据。

Context Engineering 的工作,就是根据当前任务决定哪些信息需要进入上下文,并在任务推进过程中持续调整。

Anthropic 在 2025 年 9 月发布的《Effective Context Engineering for AI Agents》中,将上下文工程描述为一组用于选择和维护模型推理所需信息的策略。

在实际开发中,通常需要考虑三个问题:

  • 当前任务需要哪些信息?
  • 这些信息是否准确、相关,而且仍然有效?
  • 随着任务继续执行,哪些内容需要保留、压缩或替换?

以企业客服 Agent 为例,用户询问:“我昨天提交的退款申请处理到哪一步了?”

模型要回答这个问题,需要知道用户对应的申请记录、当前退款状态及企业的处理规则。

这些信息不能靠 Prompt 中一句“请准确回答用户问题”获得。

应用程序需要先识别用户身份,再查询退款系统,读取最新业务状态,并把必要的数据交给模型。模型随后依据这些信息生成回复。

如果退款系统返回的信息过于复杂,开发者还需要提取与当前问题有关的字段,避免将大量无关记录发送给模型。

这就是一次典型的上下文构建过程。


二. Context Engineering 和 Prompt Engineering 有什么区别?

Prompt Engineering 主要研究如何编写和组织提示词,让模型正确理解任务与输出要求。

例如,可以通过明确角色、任务目标、输出格式、限制条件和参考示例,提高模型完成某类任务的稳定性。

Context Engineering 的范围更广。它不仅关注指令怎么写,还要管理模型在执行过程中能够获得哪些信息。

对比维度 Prompt Engineering Context Engineering
核心工作 设计和优化模型指令 管理模型获取的全部任务信息
主要内容 角色、任务描述、规则、示例、输出格式 Prompt、历史消息、外部数据、Memory、工具结果、任务状态
典型操作 修改提示词、增加示例、明确约束 检索、筛选、排序、压缩、隔离及更新信息
信息变化 指令可相对固定,也可动态生成 随着对话、工具调用和任务状态持续变化
主要适用场景 内容生成、分类、提取、格式化等 长任务 Agent、企业知识助手、Coding Agent、复杂业务工作流等

例如,开发者希望一个 AI Agent 自动生成月度经营报告。

Prompt Engineering 可以规定:

“请先总结核心结论,再分析主要指标变化,并给出有数据依据的建议。”

但为了完成报告,系统还需要提供当月数据、上月数据、同比口径、指标定义,以及已确认的数据异常说明。

如果模型拿到的上月数据有误,再完善的提示词也无法保证结果正确。

Context Engineering 需要解决这些输入问题,并决定如何将数据整理后提供给模型。

两者并不互斥。提示词本身就是上下文的一部分。

对于一次性文本处理,精心设计 Prompt 可能已经足够;对于需要持续调用工具、查询业务数据和管理任务状态的 Agent,通常还需要完整的上下文工程。


三. 为什么 AI Agent 让 Context Engineering 变得重要?

一个简单的大模型应用,可能只需要接收问题,然后输出结果。

AI Agent 的执行过程通常更复杂。它可以调用外部工具、查询数据库、读取文件,根据执行结果决定下一步操作。

例如,一个 Coding Agent 接到任务:“修复用户登录接口中的错误。”

它可能需要执行以下操作:

  1. 读取项目目录,定位登录接口代码。
  2. 检查相关配置、依赖和测试文件。
  3. 分析错误日志。
  4. 修改代码并执行测试。
  5. 根据测试结果继续修复。
  6. 汇总修改内容和遗留问题。

在这个过程中,每一次工具调用都会产生新信息。

读取一个文件,可能返回几百行代码;执行测试,可能生成大量日志;查询项目历史,还可能返回之前的错误修复记录。

如果把全部内容原样保留在后续模型请求中,上下文会越来越长。

更重要的是,Agent 可能在几十次工具调用后仍然需要知道最初的任务目标、项目限制和当前已经完成的修改。

因此,Agent 运行时需要持续整理上下文,保留当前真正有用的信息,并减少历史工具结果和无关材料的干扰。

1. 工具输出会持续占用上下文窗口

搜索结果、数据库查询、终端日志和代码文件都可能进入模型上下文。

其中有些内容只在当前步骤有用。例如,测试失败时需要查看详细错误堆栈;问题修复以后,后续任务可能只需要知道测试已经通过。

如果仍然保留完整的旧错误日志,它可能继续占用 Token,甚至影响模型对当前状态的判断。

2. Agent 需要区分历史状态和当前状态

假设 Coding Agent 第一次测试发现接口返回 500,修改代码后第二次测试已经通过。

如果模型同时读取两次测试结果,却无法区分先后顺序,就可能错误地认为问题仍然存在。

应用可以通过时间戳、执行步骤、状态字段或结构化任务记录,让模型明确知道哪一份结果是最新的。

3. 长任务需要跨上下文窗口继续执行

当任务持续数小时,或者需要分多次执行时,原来的上下文可能已经无法完整保留。

系统可以把已完成的工作、当前状态、下一步任务和重要约束保存到外部存储中。

下一次运行时,再根据这些记录恢复必要的上下文。

Anthropic 在《Effective Harnesses for Long-Running Agents》中,就讨论了如何通过任务状态和交接记录,使 Coding Agent 在不同上下文窗口之间继续工作。


四. Context Engineering 主要管理哪些信息?

不同应用的上下文来源有所差异,但常见的内容可以分成以下几类。

1. 系统指令与任务规则

包括 Agent 的职责、允许执行的操作、输出要求、工具使用规则,以及需要遵守的业务约束。

这部分属于 Prompt Engineering 的主要工作,也是上下文工程的一部分。

系统指令应尽量明确。对于必须严格执行的权限验证、交易限制和审批条件,还需要在程序层实现校验,不能只依赖模型遵守提示词。

2. 当前对话与任务历史

包括用户刚刚说过的话、Agent 已经提供的回答、当前任务执行步骤和必要的历史交互。

对于较长会话,可以按需要保留最近消息,并将早期内容压缩为摘要。

压缩时需要避免丢失关键数字、用户明确要求、尚未完成的事项及已经确认的业务决定。

3. 外部知识和检索结果

企业知识库、产品文档、研究资料和数据库记录,都可以通过检索提供给模型。

例如,用户询问某个 SDK 的最新用法,Agent 可以先检索对应版本的官方文档,再根据文档回答。

如果只使用模型训练期间获得的知识,可能无法准确说明最新接口或版本变化。

对于需要准确引用的任务,还应保留来源、版本和发布时间,以便验证内容是否可靠。

4. Agent Memory

Memory 用于保存跨会话可能继续使用的信息,例如用户偏好、历史决策、任务进度和执行经验。

Context Engineering 负责判断当前任务是否需要读取这些记忆,以及哪些记录应该进入模型上下文。

例如,用户要求继续上周的项目,系统可以从 Memory 中检索当前项目的修改要求和未完成事项,而不需要加载用户所有历史聊天。

关于长期记忆的保存、检索和更新机制,可阅读AI Agent Memory 是什么?为什么 Agent 需要长期记忆?。

5. 工具定义与执行结果

Agent 需要知道当前有哪些工具可以调用、工具接受哪些参数,以及调用后返回了什么。

例如,客服 Agent 需要查询订单时,可以调用订单查询接口,并将返回的订单状态提供给模型。

工具描述过多、参数设计不清晰,也可能影响模型选择工具的准确性。

对于工具执行结果,开发者可以提取关键字段,而不是将完整的后台响应原样发送给模型。

如果使用 MCP(Model Context Protocol)接入外部工具,同样需要管理工具定义和返回信息在上下文中的占用。


五. Context Engineering 怎么实现?四种常见方法

LangChain 在 2025 年发布的《Context Engineering》中,将 Agent 的上下文管理归纳为四类操作:Write、Select、Compress 和 Isolate。

这四种方法可以用于不同的 Agent 框架,并不依赖某一种特定数据库或模型。

1. Write:将信息写入外部存储

Agent 在运行过程中会产生大量中间信息,例如分析结果、工具返回值和任务进度。

对于后续仍然需要使用的内容,可以将其保存到数据库、文件或任务状态存储中。

例如,一个 Research Agent 收集了 30 篇技术文章,可以将文章链接、发布时间、内容摘要和验证状态保存下来。

之后需要继续研究时,系统只需读取相关记录,不必让模型重新访问全部资料。

这里的外部存储可以包括 Agent Memory,也可以是普通的任务数据库。

2. Select:按当前任务筛选信息

Select 主要解决应该读取哪些信息的问题。

例如,用户要求分析某产品最近两周的流量变化,系统可以只检索该产品、对应日期范围及相关渠道的数据。

如果数据库中同时存在其他产品和历史月份的数据,就没有必要全部加入上下文。

筛选可以结合关键词、元数据、时间范围、业务对象 ID 和向量相似度检索。

对于订单、客户、合同等需要精确匹配的信息,应优先使用可靠的业务标识和权限过滤,避免仅凭语义相似度确定对象。

3. Compress:压缩历史和工具结果

当上下文不断增长时,可以对不再需要完整保留的内容进行压缩。

例如,Agent 调用测试工具得到数千行日志。测试结束后,后续步骤可能只需要知道:

  • 哪些测试通过;
  • 哪些测试失败;
  • 失败对应的文件和错误信息;
  • 需要继续处理的事项。

系统可以从日志中提取这些信息,保留完整日志的外部文件位置,而不是在所有后续模型调用中重复附带完整日志。

对话摘要也是常见的压缩方法。

但如果摘要遗漏了重要数字、文件路径或业务约束,可能影响后续操作。因此,关键数据最好保留结构化原始记录,并在需要时重新查询。

4. Isolate:隔离不同任务的上下文

当 Agent 同时处理多个子任务时,可以分别管理每个子任务的上下文。

例如,一个软件开发 Agent 需要修改登录接口、更新数据库结构、检查自动化测试。

如果将所有文件内容、工具日志和中间推理混在一起,主 Agent 可能难以区分各任务的最新状态。

开发者可以让不同子 Agent 分别处理任务,并只将必要的结果返回主 Agent。

另一种方式是为不同任务维护独立状态和检索范围,避免互不相关的信息相互干扰。

隔离还涉及安全要求。不同用户、客户或项目之间的私有上下文必须由程序层实施访问控制,不能仅靠模型判断哪些信息不该使用。


六. 为什么上下文越长,模型不一定表现越好?

随着模型支持的 Context Window 增大,开发者可以一次提供更多文档、代码和历史对话。

但更大的窗口不保证模型能够同样准确地使用每个位置的信息。

Anthropic 在上下文工程文章中讨论了 Context Rot(上下文退化)现象:随着上下文变长,模型对其中某些信息的提取和利用能力可能下降。

这种表现受模型、任务和上下文组织方式影响,不能简单理解为超过某个固定 Token 数量后模型就一定失效。

1. 无关信息会干扰当前任务

例如,Agent 正在修复一个 Python 接口,但上下文同时包含此前研究的前端样式、旧版本部署日志和已完成的其他功能。

这些内容占用上下文,也可能影响模型判断当前应优先处理什么。

合理的做法是保留与当前接口直接相关的代码、测试结果和环境信息。

2. 重复或冲突的信息容易引起误判

如果用户先说使用方案 A,后来明确修改为方案 B,而模型同时收到两条记录却没有版本说明,就可能继续执行旧决定。

开发者需要在上下文构建阶段标明当前有效版本,必要时将旧信息作为历史记录单独保存。

3. 错误信息可能被反复使用

如果 Agent 在前一步生成了错误总结,后续又把这段总结当成可信事实使用,错误可能在多轮任务中被延续。

因此,上下文工程不仅需要减少信息量,还需要关注来源可信度和事实核验。

尤其是来自网页、外部文档或工具返回的内容,应作为待处理的数据,而不是具有更高权限的系统指令。

对于重要任务,应尽可能保留可核验的原始来源,避免让未经验证的历史摘要长期充当事实依据。


七. Context Engineering、RAG 和 Agent Memory 是什么关系?

这三个概念经常一起出现,但它们并不处于同一层次。

RAG(Retrieval-Augmented Generation,检索增强生成)主要解决如何从外部知识源找到与当前问题相关的信息,并提供给模型。

Agent Memory主要解决历史信息如何保存、更新及跨会话使用。

Context Engineering则需要综合管理指令、检索结果、Memory、工具输出和任务状态,决定本次模型调用应该看到什么。

技术 主要解决的问题
Prompt Engineering 如何表达任务要求和约束
RAG 如何检索并提供相关外部知识
Agent Memory 如何保存和调用历史信息
Context Engineering 如何为每次模型调用组织完整且有效的上下文

例如,一个 AI 客服 Agent 接到用户来电,用户询问此前购买的产品如何升级。

系统可能需要完成以下操作:

  1. 通过客户系统查询产品型号和当前服务状态。
  2. 从知识库中检索该型号的升级文档。
  3. 从历史工单中了解用户此前遇到的问题。
  4. 根据当前任务筛选需要提供给模型的信息。
  5. 由模型生成操作说明,并根据用户的追问继续补充。

其中,产品文档检索可以使用 RAG;历史工单信息可以由业务数据库或 Memory 系统提供;上下文工程则负责将这些信息与当前对话、系统规则共同组织起来。

如果用户再次来电,还需要决定哪些历史信息值得继续使用。

因此,Context Engineering 可以包含 RAG 和 Memory 的使用,但不能简单等同于其中任何一种技术。


八. Context Engineering 在 Voice Agent 中怎么使用?

Voice Agent 对上下文管理有一个额外要求:用户正在等待语音回复。

在普通文本任务中,检索资料花费几秒钟,用户可能还能接受。语音对话中,如果每一轮都要执行复杂的历史检索,等待时间就会直接影响交互体验。

因此,实时语音系统需要根据任务类型决定什么时候检索信息,以及哪些内容可以提前准备。

1. 在通话开始前准备必要的业务信息

例如,一个面向老客户的 AI 客服系统,可以在通过身份验证后读取近期工单、当前产品和必要的服务记录。

系统将这些内容整理成简短的业务上下文,供本次通话使用。

这样用户提到“上次那个问题”时,Agent 可以先根据已有记录识别相关事项。

不过,订单状态、退款进度等容易变化的业务信息,仍应在需要时重新查询权威系统,不能只依赖通话开始前加载的摘要。

2. 根据对话内容按需调用工具

用户可能在同一通电话中询问不同问题。

例如,先咨询产品功能,再要求查询订单,最后申请人工协助。

这些问题所需的信息不同。

系统不必在通话开始时就加载所有产品文档、全部订单记录和完整业务流程。可以根据当前意图选择对应工具,获取必要的结果。

工具调用后的信息还需要整理。例如,订单系统返回几十个字段,模型可能只需要订单状态、预计处理时间和下一步操作说明。

3. 控制检索和工具调用对语音延迟的影响

实时语音交互涉及音频采集、ASR、模型推理、TTS 和音频播放。

如果模型需要额外访问知识库或业务接口,检索和工具调用耗时也可能进入用户感知的等待时间。

对于经常使用且经过验证的固定信息,可以考虑提前加载或建立缓存;对于实时订单状态,则应根据业务要求查询最新数据。

对于耗时较长的操作,可以在交互设计允许的情况下给出等待反馈,但不能在实际查询尚未完成时假装已经得到结果。

开发者可以利用声网对话式 AI 引擎搭建实时语音链路,通过自定义 LLM 服务或业务工具接入外部知识库和 Memory 系统。

需要明确的是,Context Engineering 主要由应用侧的 Agent 编排、检索和业务服务实现;实时音视频传输、语音识别与播放属于另一部分技术工作。声网对话式 AI 引擎并不等同于完整的长期记忆管理系统。

4. 区分对话上下文与需要长期保存的信息

用户在本次通话中提供的临时信息,可以保存在当前会话状态中。

如果是用户明确允许长期使用的偏好,或者后续服务必须保存的业务处理结果,可以按规则写入外部存储。

不同信息应采用不同的保存期限和访问权限。

例如,AI 口语陪练可以记录已完成的练习项目和下一次练习目标,但不需要默认永久保存每一次练习的完整原始音频。


九. 开发者如何评估 Context Engineering 是否有效?

上下文工程的效果不能只看模型是否生成了一份看起来完整的回答。

更合理的方法是建立一组真实任务,分别比较不同上下文策略下的结果。

例如,在企业知识助手中,可以准备包含多个文档版本、相似产品名称和历史决策的测试问题,观察系统能否找到正确资料。

对于 Coding Agent,可以使用固定代码仓库与测试任务,检查不同上下文选择方式对代码修改结果的影响。

常见的评估指标包括:

  • 任务成功率:Agent 是否真正完成用户要求的操作。
  • 检索相关性:提供给模型的信息是否与当前问题相关。
  • 事实准确率:回答是否与权威数据、原始文档一致。
  • 上下文 Token 消耗:每次调用需要提供多少输入信息。
  • 端到端延迟:检索、模型推理和工具执行共同产生多少等待时间。
  • 历史状态恢复准确性:Agent 是否能正确接续之前未完成的任务。
  • 权限隔离:是否发生跨用户、跨项目的信息混用。

如果希望评估上下文压缩的效果,还可以分别测试完整历史、压缩摘要和按需检索三种方案。

不能只比较 Token 数量。某种策略即使节省了很多输入成本,但如果遗漏了用户已经确认的关键要求,最终任务结果也可能更差。

对于生产系统,还需要记录检索命中的文档、工具执行状态和上下文版本,以便在出现错误时定位问题。


十. Context Engineering 会取代 Prompt Engineering 吗?

从技术关系来看,Prompt Engineering 不会因为 Context Engineering 的出现而消失。

开发者仍然需要编写清晰的系统指令、规定输出格式、描述工具使用规则,并提供必要的示例。这些工作对模型输出质量仍然重要。

真正发生变化的是应用开发的重点。

对于简单任务,一段组织良好的 Prompt 可能已经能够解决问题。

对于需要长期执行、调用工具、访问业务数据库和保存历史信息的 AI Agent,开发者还需要控制模型每一步看到的信息。

因此,Context Engineering 涉及的工作不仅包括提示词设计,还包括 RAG、Memory、任务状态、工具结果、上下文压缩和访问权限管理。

LangChain 将这些工作总结为写入、选择、压缩和隔离;Anthropic 则强调,应根据当前任务提供足够有效的信息,而不是尽可能填满上下文窗口。

对于准备开发 AI Agent 的团队,可以先明确模型完成每一步任务所需的信息,再决定哪些内容提前加载、哪些内容按需检索、哪些状态需要长期保存,以及如何验证来源和权限。

Prompt Engineering 仍然负责把任务要求说清楚。Context Engineering 则进一步管理模型完成任务所依据的信息。对长期运行的 Agent 而言,两者都需要做好。

在声网,连接无限可能

想进一步了解「对话式 AI 与 实时互动」?欢迎注册,开启探索之旅。

本博客为技术交流与平台行业信息分享平台,内容仅供交流参考,文章内容不代表本公司立场和观点,亦不构成任何出版或销售行为。