在线咨询
专属客服在线解答,提供专业解决方案
工单支持
专业技术支持团队,随时响应服务需求

OpenAI GPT-Live 延迟全球首测:更自然的语音交互,究竟提升在哪里?

7月8日,OpenAI 发布 GPT-Live。它能边说边听,用户停顿时会等,遇到要搜索的问题会先应一声、再去后台干活。比起”你说完、我再答”的轮次式交互,更像一通可以随时插话的电话。

但 OpenAI 没有公布任何能量化这种”自然”的端到端数据,也没说它在真实手机上表现如何。所以Agora 媒体实验室做了一组公开、可重复的测试:真实 iPhone,人工发声设备播放标准语音,可控网络模拟丢包,双轨录音、按波形逐帧取时间,每项实验重复 30 次。测的不只是模型,是从客户端、网络、服务端到音频播放的完整链路。

本次参与对比的是ChatGPT的三代语音交互模式:

  • GPT-Live-1:最新一代全双工语音模式,可以在说话的同时继续监听用户,交互方式更接近真实电话。
  • Advanced Voice Mode:上一代端到端模式,虽然使用单一模型处理语音,但仍以相对明确的对话轮次运行,通常需要等待用户说完后再回复。
  • Standard Voice Mode:较早期的”语音转文字—生成文本—语音合成”级联模式,每轮对话需要依次经过三个处理环节。

通过实验室的测试数据,我们发现这次升级真正改变的,不只是语音交互的速度,而是它的可预测性,无论正常网络还是弱网环境,用户都能更稳定地判断AI大概什么时候会回应


一. 打断慢了半秒,但误触发从 22 次降到 1 次

中断停止延迟 GPT-Live-1(全双工) 高级语音模式(轮次式) 标准语音模式(三段式)
中位数 1,399 ms 901 ms 751 ms
标准差(SD) 378 ms 307 ms 86 ms

从用户插话第一帧到 AI 闭嘴,GPT-Live 的中位数比上一代慢了 498 毫秒。半秒的”抢话延迟”,用户能明显感觉到。单看这个数字,它是三代里最慢的。

但这不是退步,是换了策略。上一代的逻辑是”听到声音就停”;GPT-Live 会先判断你是不是真的想接管对话,再决定停不停。代价是慢半秒,收益是:AI 播报期间的咳嗽、笑声、背景人声,误触发从 22 次降到 1 次。咳嗽声上两者差异不大,真正拉开差距的是背景人声,也就是 AI 一边说话、一边分辨哪些声音该理。

误触发测试 GPT-Live-1(全双工) 高级语音模式(轮次式) 标准语音模式(三段式)
咳嗽/笑声(安静环境) 1/30 2/30 9/30
背景人声(SNR 10 dB) 0/30 20/30 30/30

新的代价也随之出现:在没人跟它说话的嘈杂环境里,GPT-Live 在 30 个测试窗口里有 4 次主动接了旁人的话,另外两代全程沉默。这是全双工绕不开的”说话者归属”难题:它听得到有人在说,却判断不了这人是不是在跟自己说。OpenAI 官方文档也承认这里尚有局限。

(498 毫秒是端到端数字,包含模型决策、网络往返、播放缓冲和客户端停止机制,不等于模型本身的处理速度。)


二. 真正的提升不是快了百余毫秒,而是稳了近 5 倍

正常网络 GPT-Live-1(全双工) 高级语音模式(轮次式) 标准语音模式(三段式)
中位数(Median) 1,099 ms 1,304 ms 5,197 ms
长尾延迟(P90) 1,203 ms 2,318 ms 5,987 ms
标准差(SD) 104 ms 489 ms 552 ms

按中位数算,GPT-Live 只比 Advanced Voice Mode 快 205 毫秒,这点差距撑不起”体验代际”。真正的差距在长尾:Advanced Voice Mode 的 P90 响应延迟高达 2318 毫秒,接近中位数的两倍;GPT-Live 的 P90 只比中位数高 104 毫秒。标准差从 489 毫秒降到 104 毫秒,波动缩小了近 5 倍。

这才是这一代最值钱的改进。人与人换话轮平均只要约 200 毫秒,GPT-Live 离这个速度还远。但当系统几乎每次都以相近节奏回应,用户能形成稳定预期;反过来,等待时间在 1.3 秒到 2.3 秒之间来回跳,哪怕平均值差不多,感受上就是”卡”。

至于 Standard Voice Mode,平均要 5 秒才响应,级联架构和实时模式已经是代际差异,没有比较意义。

另外,遇到要搜索或推理的问题,GPT-Live 会先说一句”让我查一下”再后台处理。这意味着只测”第一帧可听语音”已经不够,以后至少要拆三个指标:确认响应开始、正式回答开始、回答完成。本次测的是第一个,它能说明 AI 回应及不及时,说明不了任务实际完成得快不快。


三. 10% 丢包下,GPT-Live 仍好过上一代的正常网络表现

真实用户不会永远待在稳定 Wi-Fi 里。我们模拟弱网,想看多大的网络损伤能抹掉新模型的优势。

中位数(P90) GPT-Live-1(全双工) 高级语音模式(轮次式) 标准语音模式(三段式)
正常网络 1,099 ms(1,203 ms) 1,304 ms(2,318 ms) 5,197 ms(5,987 ms)
10% 上行丢包 1,413 ms(1,836 ms) 3,752 ms(4,873 ms) 4,976 ms(5,669 ms)
10% 下行丢包 + 100 ms 延迟 1,397 ms(1,645 ms) 2,979 ms(3,884 ms) 5,213 ms(6,133 ms)

10% 上行丢包时,GPT-Live 的响应延迟只增加 314 毫秒;Advanced Voice Mode 增加了 2448 毫秒,接近涨了三倍,直接退化到 Standard Voice Mode 正常网络下的水平。更能说明问题的是这组对比:丢包 10% 的 GPT-Live(P90 为 1836 毫秒),依然快过零丢包的 Advanced Voice Mode(P90 为 2318 毫秒)。 换成下行丢包并叠加 100 毫秒时延,排序不变。

优势来自哪个环节,外部测试无法归因。可能是渐进式音频处理让丢包只伤局部上下文,可能是传输协议和客户端优化,也可能是模型训练时见过更多受损音频。但对开发者和用户来说,结果已经足够明确:这套链路在弱网下更扛造。


四. 全双工的竞争,已经是整条实时链路的竞争

文本聊天里,几百毫秒的网络波动只是页面慢一点。语音里,时间本身就是语义:半秒的静默可能是用户在思考,也可能只是上行音频没到;附和来得太早是打断,来得太晚像没听见。丢包处理也一样,对人耳自然的修复方式,未必保得住模型理解语义和节奏所需的信息。

所以一个全双工模型撑不起自然的语音体验,模型、推理服务、网络传输、音频处理和客户端播放必须在同一条时间轴上协同。OpenAI 的优势恰恰是全栈都在自己手里:他们重构了 WebRTC 技术栈,用全球自建中继(Global Relay)配合就近信令调度,让流量就近进入自有骨干网,把首跳延迟、抖动和丢包压到最低。GPT-Live 是整条技术栈协同的结果,不是单个模型的胜利。

大多数开发团队没有这个条件:走公网调 API,管不了推理基础设施,也干预不了跨区域路径。接的是同一个模型,体验照样掉档。而这正是Agora在做的事。作为 OpenAI 的合作伙伴,Agora 用覆盖全球的实时网络优化音频传输路径,并在客户端补上用户插话、AI VAD 这些关键机制。我们对网络和链路的关注难免带自己的技术视角,但也正因如此,我们能把模型放进真实设备、真实网络里测,而不是只在实验室里比单点的模型指标。


五. 客观数据之外的主观感受:GPT-Live 开始有了”对话感”

整个测试过程中,工程师提得最多的不是某个数字,而是一种感受:和 GPT-Live 对话很少冷场,它是可预测的。 复杂问题它会先应一声,你知道它还在干活,不用面对一段长度未知的空白。

在这其中,有三个有意思的现象。

  1. 它听得懂”嗯”不一定是打断。 测试人员在 AI 回答时发出”嗯””嗯哼”这类附和,GPT-Live 通常会当作反馈、继续说完;旧版更容易当成新输入,直接停下来重开一轮。说明它在结合上下文判断这段声音在对话里的作用,而不是只检测到”有人出声”。
  2. 它会看聊天内容换语气。 严肃问题表达克制,轻松场景语气活跃。不过语气自然度主观性太强,目前还没有能稳定复现的量化测法。
  3. 它有了时间感。 “40 秒后提醒我”这类任务,GPT-Live 能大致完成,偶有误差;旧版几乎做不到。语音智能体开始理解对话进行了多久、某件事该在什么时候发生,这可能是应用边界上的一个新口子。

总体而言,GPT-Live 为语音智能体设定了一个新的参考线,无论是延迟还是自然度。


六. 测试方法与局限

  1. 测试环境:iPhone 13,ChatGPT v1.2026.183(App Store 版),Plus 账号已开通 GPT-Live-1,英语测试,时间为 2026 年 7 月 9 日。
  2. 方法:预录标准语音由人工发声设备播放,保证每次输入一致;用户语音和 AI 输出双轨录音,所有时间按波形逐帧测量;每项实验 n=30。
  3. 两个核心指标:
    • 响应延迟(用户最后一帧到 AI 第一帧可听语音)
    • 停止响应延迟(用户插话第一帧到 AI 最后一帧语音结束)

    主动打断测试中三种模式识别率都是 30/30,所以本文比的不是”能不能识别打断”,而是识别之后多久停下来。

  4. 局限:样本量 30,个位数毫秒的差异不建议过度解读;单设备、单账号、单地点,集中在发布后第一周;丢包只测了一个等级,下行测试还叠加了时延,两个因素无法完全分离。这是一次有代表性的实验快照,不是覆盖所有设备和网络的普查。

另外要注意:GPT-Live API 目前仍在 Waitlist 阶段,Realtime API 默认提供的 gpt-realtime-2.1 是另一款模型,不在本次测试范围内。

全双工语音时代已经到了。变化在于,我们终于可以不再用”自然””像真人”这类形容词描述它,而是能系统地、可重复地把这种体验测出来。Agora媒体实验室后续会用同一套方法,持续测试更多实时语音模型。

在声网,连接无限可能

想进一步了解「对话式 AI 与 实时互动」?欢迎注册,开启探索之旅。

本博客为技术交流与平台行业信息分享平台,内容仅供交流参考,文章内容不代表本公司立场和观点,亦不构成任何出版或销售行为。