7月8日,OpenAI 发布 GPT-Live。它能边说边听,用户停顿时会等,遇到要搜索的问题会先应一声、再去后台干活。比起”你说完、我再答”的轮次式交互,更像一通可以随时插话的电话。
但 OpenAI 没有公布任何能量化这种”自然”的端到端数据,也没说它在真实手机上表现如何。所以Agora 媒体实验室做了一组公开、可重复的测试:真实 iPhone,人工发声设备播放标准语音,可控网络模拟丢包,双轨录音、按波形逐帧取时间,每项实验重复 30 次。测的不只是模型,是从客户端、网络、服务端到音频播放的完整链路。
本次参与对比的是ChatGPT的三代语音交互模式:
- GPT-Live-1:最新一代全双工语音模式,可以在说话的同时继续监听用户,交互方式更接近真实电话。
- Advanced Voice Mode:上一代端到端模式,虽然使用单一模型处理语音,但仍以相对明确的对话轮次运行,通常需要等待用户说完后再回复。
- Standard Voice Mode:较早期的”语音转文字—生成文本—语音合成”级联模式,每轮对话需要依次经过三个处理环节。
通过实验室的测试数据,我们发现这次升级真正改变的,不只是语音交互的速度,而是它的可预测性,无论正常网络还是弱网环境,用户都能更稳定地判断AI大概什么时候会回应。
一. 打断慢了半秒,但误触发从 22 次降到 1 次
| 中断停止延迟 | GPT-Live-1(全双工) | 高级语音模式(轮次式) | 标准语音模式(三段式) |
|---|---|---|---|
| 中位数 | 1,399 ms | 901 ms | 751 ms |
| 标准差(SD) | 378 ms | 307 ms | 86 ms |
从用户插话第一帧到 AI 闭嘴,GPT-Live 的中位数比上一代慢了 498 毫秒。半秒的”抢话延迟”,用户能明显感觉到。单看这个数字,它是三代里最慢的。
但这不是退步,是换了策略。上一代的逻辑是”听到声音就停”;GPT-Live 会先判断你是不是真的想接管对话,再决定停不停。代价是慢半秒,收益是:AI 播报期间的咳嗽、笑声、背景人声,误触发从 22 次降到 1 次。咳嗽声上两者差异不大,真正拉开差距的是背景人声,也就是 AI 一边说话、一边分辨哪些声音该理。
| 误触发测试 | GPT-Live-1(全双工) | 高级语音模式(轮次式) | 标准语音模式(三段式) |
|---|---|---|---|
| 咳嗽/笑声(安静环境) | 1/30 | 2/30 | 9/30 |
| 背景人声(SNR 10 dB) | 0/30 | 20/30 | 30/30 |
新的代价也随之出现:在没人跟它说话的嘈杂环境里,GPT-Live 在 30 个测试窗口里有 4 次主动接了旁人的话,另外两代全程沉默。这是全双工绕不开的”说话者归属”难题:它听得到有人在说,却判断不了这人是不是在跟自己说。OpenAI 官方文档也承认这里尚有局限。
(498 毫秒是端到端数字,包含模型决策、网络往返、播放缓冲和客户端停止机制,不等于模型本身的处理速度。)
二. 真正的提升不是快了百余毫秒,而是稳了近 5 倍
| 正常网络 | GPT-Live-1(全双工) | 高级语音模式(轮次式) | 标准语音模式(三段式) |
|---|---|---|---|
| 中位数(Median) | 1,099 ms | 1,304 ms | 5,197 ms |
| 长尾延迟(P90) | 1,203 ms | 2,318 ms | 5,987 ms |
| 标准差(SD) | 104 ms | 489 ms | 552 ms |
按中位数算,GPT-Live 只比 Advanced Voice Mode 快 205 毫秒,这点差距撑不起”体验代际”。真正的差距在长尾:Advanced Voice Mode 的 P90 响应延迟高达 2318 毫秒,接近中位数的两倍;GPT-Live 的 P90 只比中位数高 104 毫秒。标准差从 489 毫秒降到 104 毫秒,波动缩小了近 5 倍。
这才是这一代最值钱的改进。人与人换话轮平均只要约 200 毫秒,GPT-Live 离这个速度还远。但当系统几乎每次都以相近节奏回应,用户能形成稳定预期;反过来,等待时间在 1.3 秒到 2.3 秒之间来回跳,哪怕平均值差不多,感受上就是”卡”。
至于 Standard Voice Mode,平均要 5 秒才响应,级联架构和实时模式已经是代际差异,没有比较意义。
另外,遇到要搜索或推理的问题,GPT-Live 会先说一句”让我查一下”再后台处理。这意味着只测”第一帧可听语音”已经不够,以后至少要拆三个指标:确认响应开始、正式回答开始、回答完成。本次测的是第一个,它能说明 AI 回应及不及时,说明不了任务实际完成得快不快。
三. 10% 丢包下,GPT-Live 仍好过上一代的正常网络表现
真实用户不会永远待在稳定 Wi-Fi 里。我们模拟弱网,想看多大的网络损伤能抹掉新模型的优势。
| 中位数(P90) | GPT-Live-1(全双工) | 高级语音模式(轮次式) | 标准语音模式(三段式) |
|---|---|---|---|
| 正常网络 | 1,099 ms(1,203 ms) | 1,304 ms(2,318 ms) | 5,197 ms(5,987 ms) |
| 10% 上行丢包 | 1,413 ms(1,836 ms) | 3,752 ms(4,873 ms) | 4,976 ms(5,669 ms) |
| 10% 下行丢包 + 100 ms 延迟 | 1,397 ms(1,645 ms) | 2,979 ms(3,884 ms) | 5,213 ms(6,133 ms) |
10% 上行丢包时,GPT-Live 的响应延迟只增加 314 毫秒;Advanced Voice Mode 增加了 2448 毫秒,接近涨了三倍,直接退化到 Standard Voice Mode 正常网络下的水平。更能说明问题的是这组对比:丢包 10% 的 GPT-Live(P90 为 1836 毫秒),依然快过零丢包的 Advanced Voice Mode(P90 为 2318 毫秒)。 换成下行丢包并叠加 100 毫秒时延,排序不变。
优势来自哪个环节,外部测试无法归因。可能是渐进式音频处理让丢包只伤局部上下文,可能是传输协议和客户端优化,也可能是模型训练时见过更多受损音频。但对开发者和用户来说,结果已经足够明确:这套链路在弱网下更扛造。
四. 全双工的竞争,已经是整条实时链路的竞争
文本聊天里,几百毫秒的网络波动只是页面慢一点。语音里,时间本身就是语义:半秒的静默可能是用户在思考,也可能只是上行音频没到;附和来得太早是打断,来得太晚像没听见。丢包处理也一样,对人耳自然的修复方式,未必保得住模型理解语义和节奏所需的信息。
所以一个全双工模型撑不起自然的语音体验,模型、推理服务、网络传输、音频处理和客户端播放必须在同一条时间轴上协同。OpenAI 的优势恰恰是全栈都在自己手里:他们重构了 WebRTC 技术栈,用全球自建中继(Global Relay)配合就近信令调度,让流量就近进入自有骨干网,把首跳延迟、抖动和丢包压到最低。GPT-Live 是整条技术栈协同的结果,不是单个模型的胜利。
大多数开发团队没有这个条件:走公网调 API,管不了推理基础设施,也干预不了跨区域路径。接的是同一个模型,体验照样掉档。而这正是Agora在做的事。作为 OpenAI 的合作伙伴,Agora 用覆盖全球的实时网络优化音频传输路径,并在客户端补上用户插话、AI VAD 这些关键机制。我们对网络和链路的关注难免带自己的技术视角,但也正因如此,我们能把模型放进真实设备、真实网络里测,而不是只在实验室里比单点的模型指标。
五. 客观数据之外的主观感受:GPT-Live 开始有了”对话感”
整个测试过程中,工程师提得最多的不是某个数字,而是一种感受:和 GPT-Live 对话很少冷场,它是可预测的。 复杂问题它会先应一声,你知道它还在干活,不用面对一段长度未知的空白。
在这其中,有三个有意思的现象。
- 它听得懂”嗯”不一定是打断。 测试人员在 AI 回答时发出”嗯””嗯哼”这类附和,GPT-Live 通常会当作反馈、继续说完;旧版更容易当成新输入,直接停下来重开一轮。说明它在结合上下文判断这段声音在对话里的作用,而不是只检测到”有人出声”。
- 它会看聊天内容换语气。 严肃问题表达克制,轻松场景语气活跃。不过语气自然度主观性太强,目前还没有能稳定复现的量化测法。
- 它有了时间感。 “40 秒后提醒我”这类任务,GPT-Live 能大致完成,偶有误差;旧版几乎做不到。语音智能体开始理解对话进行了多久、某件事该在什么时候发生,这可能是应用边界上的一个新口子。
总体而言,GPT-Live 为语音智能体设定了一个新的参考线,无论是延迟还是自然度。
六. 测试方法与局限
- 测试环境:iPhone 13,ChatGPT v1.2026.183(App Store 版),Plus 账号已开通 GPT-Live-1,英语测试,时间为 2026 年 7 月 9 日。
- 方法:预录标准语音由人工发声设备播放,保证每次输入一致;用户语音和 AI 输出双轨录音,所有时间按波形逐帧测量;每项实验 n=30。
- 两个核心指标:
- 响应延迟(用户最后一帧到 AI 第一帧可听语音)
- 停止响应延迟(用户插话第一帧到 AI 最后一帧语音结束)
主动打断测试中三种模式识别率都是 30/30,所以本文比的不是”能不能识别打断”,而是识别之后多久停下来。
- 局限:样本量 30,个位数毫秒的差异不建议过度解读;单设备、单账号、单地点,集中在发布后第一周;丢包只测了一个等级,下行测试还叠加了时延,两个因素无法完全分离。这是一次有代表性的实验快照,不是覆盖所有设备和网络的普查。
另外要注意:GPT-Live API 目前仍在 Waitlist 阶段,Realtime API 默认提供的 gpt-realtime-2.1 是另一款模型,不在本次测试范围内。
全双工语音时代已经到了。变化在于,我们终于可以不再用”自然””像真人”这类形容词描述它,而是能系统地、可重复地把这种体验测出来。Agora媒体实验室后续会用同一套方法,持续测试更多实时语音模型。