首页巨人网络《超自然行动组》推出“AI大模型挑战”玩法，让 AI 角色通过语音交流、行为伪装和动态决策参与真实对局。上线一周内，AI 参与对局数突破2500万次。类似探索也在其他游戏中展开。《绝地求生》推出能够理解玩家语音、协同作战的 AI 队友 PUBG Ally；《勇者斗恶龙 X》则测试能够记住玩家冒险经历、提供个性化文字交流的 AI 伙伴。
AI NPC 正从固定脚本走向实时互动。如何将语音识别、LLM、TTS 与游戏状态、角色动作结合，并控制响应延迟，成为游戏开发者需要解决的新问题。
一. AI NPC正在从固定脚本走向真实游戏互动
传统 NPC 主要依靠行为树、状态机和预设脚本响应玩家。随着大模型进入游戏，NPC 开始具备自然语言理解、动态交流和结合游戏状态作出决策的能力。
1. 《超自然行动组》：AI模仿真人参与对局
《超自然行动组》的“AI大模型挑战”让 AI 角色以玩家身份参与真实对局，通过语音交流、跟随、伪装和误导等行为影响战局。相比传统 NPC，这类角色需要根据实时环境调整语言和行动，让玩家难以仅凭行为判断对方是否为真人。
2. PUBG Ally：AI成为可以协作的队友
2026年6月，KRAFTON 和 NVIDIA 公开测试 PUBG Ally。玩家可以通过语音下达指令，AI 队友结合位置、装备和战况提供帮助，并执行相应动作。技术上，PUBG Ally 使用 ASR、约20亿参数的小语言模型和 TTS 实现语音交互，移动与战斗动作则由游戏行为系统处理。同时，它还可以结合对局上下文和玩家长期偏好调整互动方式。
3. 《勇者斗恶龙X》：AI伙伴记住玩家的冒险经历
Square Enix 测试的 AI 伙伴“おしゃべりスラミィ”则侧重角色陪伴。它能够参考玩家的任务进度、外观变化和冒险经历，提供更贴合个人状态的回应。该项目目前仍在完善，官方测试以文字聊天为主，尚不能视为成熟的实时语音 NPC。
三个案例分别代表AI 对抗、队友协作和角色陪伴。它们也说明，AI NPC 要真正参与游戏，仅有对话能力还不够，还需要让语言理解与实时游戏状态、角色行为协同工作。
二. AI NPC如何听懂玩家，又怎样及时作出回应？
对于已经支持语音开黑的多人游戏，玩家通常希望直接与队友交流，而不是每次都打开文字输入框。
如果 AI 角色需要像真人队友一样参与沟通，它就必须处理连续的语音输入，并结合当前对局判断如何回答。
一种常见的实现方式，是将 RTC 实时音频、ASR、LLM 和 TTS 组合成一条语音交互链路。
1. RTC：把玩家的声音及时送入AI系统
在多人游戏中，玩家通过麦克风交流，音频需要经过采集、编码、传输和播放。
如果 AI NPC 也要参与语音对话，就需要把授权范围内的玩家音频提供给相应的语音处理系统，同时把 AI 合成的音频返回到游戏客户端。
这一过程中，游戏的背景音效、枪声、键盘敲击声以及其他玩家的说话声，都可能影响语音识别。
例如，玩家在激烈战斗中快速说出“左边有人，先撤退”，ASR 不仅需要识别文字，还要尽量避免把枪声或其他队友的声音错误当成指令。
因此，游戏语音链路需要综合考虑回声消除、噪声抑制、音量处理、语音活动检测以及说话人识别等能力。
对于多人游戏，还需要确定 AI 正在响应谁。
如果两名玩家同时发言，系统不应仅仅按照声音大小随机选取一个人作为指令来源。开发者可以结合队伍频道、发言权限、玩家 ID 和轮次管理，建立更清晰的语音输入规则。
2. ASR：游戏黑话比普通语音识别更复杂
游戏里的语音往往非常简短，而且高度依赖上下文。
例如，“拉我一下”“这边有三级头”“别开枪”“先封烟”，如果脱离具体游戏规则，语音识别系统即使正确转写了文字，也未必能准确表达玩家的意思。
同时，游戏玩家还会大量使用武器名称、地图简称、角色名称和中英文混合表达。
这要求 ASR 能适应真实游戏中的说话方式，并在必要时加入专有词汇与热词配置。
不过，ASR 解决的是语音转写问题。识别出“先封烟”之后，还需要上层模型和游戏系统判断，这句话是否代表使用烟雾弹，以及当前角色是否拥有对应道具。
3. LLM：理解对话，还必须读取游戏状态
普通聊天机器人主要依靠用户输入和对话历史生成回答。
游戏 AI 角色还需要额外的信息：玩家与队友的位置、当前武器、剩余资源、任务进度和附近事件。
例如，玩家要求 AI 队友“给我一瓶饮料”，模型不能仅凭语言上下文回答“好的”，还需要确认 AI 当前是否拥有对应物品、双方距离是否允许交付，以及游戏规则是否支持这一动作。
PUBG Ally 的开发团队采用了观察工具的设计，让模型按需获取游戏引擎中的权威状态，而不是完全依赖模型记忆推测当前环境。
这很重要，因为模型在数秒前读到的信息，可能已经不适用于当前战斗。
例如，AI 记得队友仍有充足生命值，但实际上队友刚刚遭到攻击。此时若不重新读取游戏状态，就容易给出错误建议。
因此，AI NPC 的上下文不应只包含聊天记录，还要结合最新的游戏状态，并明确哪些信息由游戏服务器或引擎提供。
4. TTS：让角色说话符合游戏节奏
模型生成文字后，还需要转换为能够在游戏内播放的声音。
TTS 不只是把文字念出来。对于 AI NPC，音色、语速、停顿和情绪表达都会影响角色表现。
例如，一位正在战斗的 AI 队友，不适合用缓慢、冗长的语气解释当前战况；一个承担剧情引导任务的角色，则可能需要更稳定、更符合角色性格的表达。
在《超自然行动组》中，AI 角色能够模仿接近真人玩家的交流风格，使身份判断成为游戏玩法的一部分。
不过，面向真实用户提供声音克隆能力时，还需要考虑授权范围、使用目的和滥用风险。游戏角色配音可以使用获得授权的声音资产，而不应默认允许复制任意玩家的声音。
三. 实时游戏里的AI，为什么不能等待大模型完成所有决策？
游戏与普通语音助手最大的不同，在于游戏世界不会等待模型回答。
玩家说话的同时，敌人仍在移动，队友可能正在交火，游戏服务器也在持续更新状态。
如果 AI 角色每次行动都要先经过一次完整的大模型推理，可能错过执行任务的时机。
1. 语音响应延迟来自多个环节
从玩家开口，到 AI 队友开始回答，可能包括语音采集与传输、语音识别、轮次检测、模型推理、语音合成及音频播放等步骤。
开发者不能只用大模型的首个 Token 生成时间，替代整条语音交互链路的实际响应延迟。
例如，模型生成首个文字片段很快，但 TTS 等待完整句子后才合成，玩家仍然会感受到明显停顿。
流式 ASR、流式生成和分段语音合成可以减少串行等待，但也需要控制字幕或音频修订、轮次判断以及用户突然改变指令的情况。
对于实时游戏，更有意义的指标通常是玩家结束有效发言后，到听到 AI 首次有效回答的时间，以及完整任务从提出到执行的时间。
2. PUBG Ally把快速动作与语言推理分开
KRAFTON 在开发 PUBG Ally 时，遇到的一个关键问题就是如何保持战斗动作的及时性。
根据开发团队的技术介绍，他们采用类似 System 1 / System 2 的分层设计。
负责移动、瞄准和即时战斗反应的部分，由游戏行为树按照游戏运行频率处理；负责理解玩家意图、协调队伍和生成自然语言的部分，则交给小语言模型。
因此，AI 队友不需要等语言模型想清楚怎么回答，才能执行每一个基础移动动作。
这一设计也解释了为什么模型参数量不是衡量游戏 AI 效果的唯一标准。
PUBG Ally 采用约20亿参数的端侧小模型，并通过量化与推理优化减少对显存和网络连接的依赖。团队披露，该方案可在总显存8GB的特定 GPU 配置上运行。
对于图形渲染已经占用大量计算资源的游戏，增加 AI 推理后，还需要关注 GPU 资源分配、游戏帧率、内存占用及设备发热。
云端模型可以提供更灵活的算力和模型选择，但也会引入网络往返、推理并发与运行成本；端侧模型减少了远程推理等待，却受到本地硬件资源的限制。
因此，开发者应根据游戏类型、响应要求、设备配置及成本选择部署方式，而不是默认所有 AI NPC 都应使用最大参数量的云端模型。
3. 打断与话轮控制也会影响游戏体验
AI NPC 能够说话，并不代表它会选择合适的说话时机。
例如，AI 队友正在解释地图路线，玩家突然说“先别说了，敌人来了”，系统就需要及时中止不重要的回复，转而处理当前事件。
但如果 AI 过于敏感，把其他队友的短促喊话或背景声音都当作打断，也会频繁停止讲话。
因此，实时游戏语音需要把轮次检测、目标说话人、优先级和打断策略结合起来。
战斗指令、队友求助和紧急状态可以拥有更高优先级；闲聊和剧情介绍则应当允许被中断。
这类规则需要由游戏业务系统定义，不能全部交给语言模型自行判断。
四. 从AI对手到AI伙伴，游戏状态与记忆如何影响交互体验？
对于 AI 对手，玩家首先关注它是否能够提供有趣、合理的对抗行为。
对于长期陪伴的 AI 伙伴，玩家还会在意角色是否记得自己，以及前后对话是否一致。
这意味着不同游戏类型需要不同的上下文管理方式。
1. 即时上下文决定AI能否跟上当前对局
在多人竞技游戏中，最重要的往往是当前状态。
例如，角色正在使用什么武器、还有多少生命值、队友在哪里，以及当前是否处于交战状态。
这些信息应尽量通过游戏引擎或服务器提供的接口读取。
对于涉及动作的任务，模型可以提出高层意图，但具体是否合法、是否具备道具、是否满足技能冷却条件，仍应由权威游戏逻辑检查。
这样既能避免模型凭空编造游戏状态，也能防止 AI 绕过游戏规则执行非法操作。
2. 长期记忆让AI角色不必每局重新认识玩家
PUBG Ally 的开发团队披露了结构化记忆方案，将当前比赛信息和跨比赛的玩家偏好分开保存。
例如，玩家可能喜欢使用某类武器，习惯在特定地点降落，或者曾经与 AI 队友共同完成某项任务。
这些信息可以帮助 AI 在后续对局中作出更符合玩家习惯的回应。
《勇者斗恶龙 X》的 AI 伙伴则进一步展示了冒险记录与角色关系的结合。
根据官方测试说明，角色可以参考玩家完成的部分任务、外观变化和游戏成就，与玩家展开相关话题。
不过，记忆功能仍需明确保存范围、有效期和更新规则，避免把过时信息当成最新事实。
对于玩家个人信息，还需要考虑用户是否同意保存、能否查看或删除相关记录，以及不同账号间的数据隔离。
3. 人设一致性比回答丰富更重要
一个 AI NPC 即使能够回答大量问题，如果经常说出与世界观冲突的内容，仍然会破坏游戏体验。
例如，角色不应该提前透露玩家尚未解锁的剧情，也不应随意编造不存在的装备或任务。
KRAFTON 在 PUBG Ally 的研发中限制了可用地图、模式和物品范围，并使用游戏术语和知识库约束模型输出。
《勇者斗恶龙 X》的开发团队也在封闭测试后承认，游戏信息准确性和对话安全性仍有需要解决的问题。
因此，AI NPC 的关键不是尽可能回答所有问题，而是清楚角色知道什么、不知道什么，以及哪些内容不能回答。
五. 声网游戏语音与对话式AI如何支持AI NPC开发？
从《超自然行动组》到 PUBG Ally，可以看到游戏 AI 角色通常需要处理三类信息：玩家发出的语音、游戏世界的实时状态，以及 AI 返回的语音或动作。
对于开发者来说，这些能力不一定需要全部由一套模型完成。声网目前提供游戏语音解决方案和对话式AI引擎，可以为游戏内的实时交流及 AI 语音角色提供相关技术能力。
1. 游戏语音SDK：处理多人交流与空间音频
声网游戏语音 SDK 支持多人实时语音、小队频道、范围语音、空间音频，以及 AI 降噪和回声消除等能力。
例如，在多人合作游戏中，真人玩家可以通过小队频道交流；在开放世界或空间社交场景中，还可以结合角色位置实现一定范围内的语音互动。
对于 AI NPC，开发者可以根据业务需要，让 AI 的语音作为游戏内的独立音频来源参与播放，并结合游戏引擎设置角色位置及空间音效。
需要注意，RTC 的职责是处理音频采集、传输和播放，以及相应的音频体验。游戏角色所处的位置、玩家能否听见某个 NPC，以及谁有权限向 AI 发出指令，仍需要游戏业务规则配合。
2. 对话式AI引擎：让NPC具备自然语音交流能力
声网对话式AI引擎面向实时语音交互场景，支持接入主流 ASR、LLM 和 TTS 服务，并提供轮次检测、语音打断、对话状态及音频处理等能力。
对于游戏开发者，这意味着可以在现有多人语音玩法的基础上，为特定 AI 角色增加实时对话入口。
例如，玩家靠近一名任务引导 NPC，通过语音询问当前任务目标。系统识别玩家的问题后，结合角色设定和任务信息生成回应，再通过 TTS 播放。
如果玩家在 NPC 说话途中改变问题，开发者还可以配置打断策略，决定是否停止当前回复并开启新的对话轮次。
声网官方文档支持语音触发和主动调用接口两类打断方式，也支持根据具体交互需要调整轮次检测设置。
不过，打断策略并不是开启后就适用于所有游戏。战斗中的短指令、剧情对话和长时间陪伴聊天，通常需要不同的配置。
3. RTM与自定义上下文：把游戏状态带入对话
单纯让 AI NPC 能够听懂玩家语音，仍不足以完成游戏任务。
当玩家问“我现在应该去哪里？”时，系统需要知道玩家当前的位置、任务进度及可访问区域，才能提供有用的回答。
声网的自定义信息传递功能支持结合 RTM 用户临时状态，将业务上下文提供给对话式智能体。
例如，游戏可以向 AI 提供玩家的当前任务阶段、角色身份或所选物品等信息，让模型在回答时参考这些上下文。
但需要明确功能边界：声网文档中的这一能力需要开启相应 RTM 配置，并使用支持所需上下文格式的自定义大模型服务。并不是接入 RTC 后，AI 就能自动读取整个游戏世界。
对于涉及武器、物品、技能或实际角色动作的业务，开发者仍需要对接游戏服务器或引擎侧的权威状态接口。
如果需要 AI 发起业务操作，声网还提供自定义工具调用机制，可在满足对应模型类型和接口条件时调用外部 HTTPS 服务。
但最终动作仍应由游戏服务器校验，并根据游戏规则决定是否执行。
4. 将语音交互与游戏动作分开管理
结合前面的工程实践，可以把 AI NPC 的系统分成不同职责。
首先，RTC 负责玩家与 AI 之间的音频连接，以及游戏内实时语音播放。
其次，对话式 AI 负责识别玩家语音、理解上下文并生成回复。
再次，游戏业务层负责获取玩家状态、判断任务权限、管理角色记忆，并把模型提出的动作意图转换为可校验的任务请求。
最后，游戏引擎及服务器负责执行具体动作、更新状态和同步游戏结果。
例如，玩家要求 AI 队友“过来帮我”，模型可以将其理解为请求队友协助，但是否移动、怎样寻路、能否穿过当前区域，仍需要游戏逻辑判断。
这种分工适用于大量需要实时语音和行为互动的游戏角色，同时也避免让语言模型直接承担毫秒级动作控制。
六. 大规模部署AI NPC，还要解决哪些工程问题？
《超自然行动组》公布的2500万次 AI 参与对局，说明这类玩法已经进入需要认真考虑规模和成本的阶段。
但 AI 参与次数增加，不代表每个角色都可以无限制地调用高成本模型。
真正落地时，开发者需要同时关注交互体验、推理资源和游戏运营要求。
1. 并不是每句话都需要调用大模型
游戏中的许多语音行为非常固定，例如“发现敌人”“任务完成”“需要补给”等。
这些高频、简单且对响应时间要求很高的内容，可以根据游戏类型采用预录语音、规则系统、缓存语音或轻量模型处理。
对于开放式询问、复杂任务协作及剧情对话，则可以使用更灵活的语言模型。
这种分层设计既有利于控制成本，也能够减少每次常规游戏动作都依赖远程模型的情况。
2. 需要区分语音聊天的延迟与动作响应延迟
对于 AI NPC，玩家开口后多久听到回应，是一个重要指标。
但如果玩家要求角色使用道具或改变位置，动作执行时间又是另一项指标。
例如，语音回复可以使用流式生成逐步播放，但某个游戏动作必须等待服务器确认，或者需要满足技能冷却条件。
因此，可以分别衡量语音首响应时间、打断成功率、模型推理耗时、工具调用耗时及任务执行成功率。
对于对战类游戏，还需要监测 AI 系统对游戏帧率、CPU/GPU 占用和网络带宽的影响。
3. 多人互动需要管理发言对象与权限
当 AI 角色同时面对多名玩家，系统需要明确是谁在向它说话。
例如，某位玩家提出移动请求，另一位玩家提出相反指令。AI 不应仅仅根据最后听到的声音决定行为。
在合作玩法中，可以设置队长权限、任务投票或明确的指令优先级；在开放世界中，则可以根据玩家距离和交互状态决定 AI 当前响应对象。
同时，还需要防范恶意语音、提示词注入和试图让 NPC 执行越权操作的请求。
对模型输入进行内容处理和任务权限检查，比简单地依赖角色人设提示词更加可靠。
4. 角色声音和记忆需要尊重玩家权益
AI 游戏角色可能需要保存对话历史、玩家偏好，甚至使用特定角色的声音。
这些能力会提升个性化体验，但也涉及数据权限和声音授权。
对于跨对局记忆，开发者应明确哪些数据会保存、保存多久，以及玩家能否查看、修改或删除。
对于声音复刻，需要使用合法授权的声音素材，避免未经同意模仿真实玩家或其他个人的音色。
在强调真实感的 AI 对抗玩法中，也应通过必要的游戏规则和信息提示，让玩家了解 AI 角色可能参与对局，而不是把角色伪装延伸为对用户身份或隐私的滥用。
七. 写在最后
《超自然行动组》让 AI 角色进入真实的多人对局，PUBG Ally 探索能够理解玩家语音和游戏状态的协作型队友，《勇者斗恶龙 X》则尝试让 AI 伙伴根据玩家经历建立更加持续的互动关系。
这些游戏采用了不同的技术路径，但都说明了一件事：AI NPC 的价值，正在从“能说出不同台词”转向“能够理解玩家所处的游戏情境，并作出符合角色身份和游戏规则的回应”。
对于实时语音 NPC，ASR、LLM 和 TTS 可以提供听懂与表达的能力；RTC 负责多人游戏中及时、稳定的音频互动；游戏引擎、实时状态与任务系统则决定 AI 能否真正参与游戏。
声网游戏语音 SDK 与对话式 AI 引擎可以为这类应用提供实时音频、自然对话和业务上下文接入能力。至于角色的战斗策略、任务逻辑、长期记忆和动作执行，仍需要开发者结合游戏设计实现。
对玩家而言，好的 AI NPC 不一定是话最多、声音最像真人的角色。它需要在合适的时候说话，理解当前发生的事，执行合理的动作，并记住那些真正影响游戏体验的信息。
当语音、智能决策和游戏行为能够协调工作，AI 角色才可能从普通的对话功能，成为玩家愿意继续互动的对手、队友或伙伴。
