2026 年 7 月 8 日,OpenAI 发布 GPT-Live。这是新一代语音模型家族,即日起接管 ChatGPT Voice。首发两个版本:GPT-Live-1 和 GPT-Live-1 mini,当天开始向全球用户推送。目标只有一个:让和 AI 说话像和人说话。
一. TL;DR
- GPT-Live 是全双工(full-duplex)语音模型,能同时听和说
- 搜索和深度推理委托给后台的 GPT-5.5,前台对话不中断
- 人工对比评测中,GPT-Live-1 和 mini 明显比 Advanced Voice Mode 更受偏好
- 已向 ChatGPT 全球用户推送;API 计划”尽快”开放,现阶段只能填表候补
- 上线时不支持视频、屏幕共享,部分语言流利度有差距
二. 什么是 GPT-Live
GPT-Live 建立在全双工架构上。全双工的意思是:模型可以一边听一边说。对话中它会插入”嗯哼””对”这类简短回应,能接住快节奏的你来我往,也能在你思考时保持安静。
遇到需要联网搜索、深度推理或多步骤执行的问题,GPT-Live 会把任务委托出去,交给后台的前沿模型处理,结果出来后再带回对话。发布时这个后台模型是 GPT-5.5。后台干活期间,GPT-Live 继续陪你聊,对话节奏不断。
一句话概括:一个模型专职管”聊”,另一个模型专职管”想”,两者解耦。
三. 级联和轮次制为什么不够用
早期语音系统一直在向自然对话靠近,但各有代价。
级联系统
最早的 ChatGPT Voice 每轮串三个模型:STT 先把语音转成文字,LLM 生成回复,TTS 再把文字合成语音。这让人类第一次能和前沿模型对话,但信息在模型间传递时会丢失(语气、情绪都没了),响应慢且生硬。
轮次制模型
Advanced Voice Mode 把音频处理收进单个模型,延迟降了,对话顺了。但它仍按离散轮次运作:必须等用户说完才开口,而”说完”靠静音判断。短暂停顿或背景噪音都可能被误判成话说完了,导致模型在不该说话的时候插进来。
| 维度 | 级联(初代 ChatGPT Voice) | 轮次制(Advanced Voice Mode) | 全双工(GPT-Live) |
|---|---|---|---|
| 管线 | STT → LLM → TTS,三个模型 | 单模型处理音频 | 单模型,持续处理 |
| 轮次处理 | 离散轮次 | 离散轮次,静音检测 | 连续决策,每秒多次 |
| 边听边说 | 否 | 否 | 是 |
| 应和语(”嗯哼”) | 否 | 否 | 是 |
| 延迟体感 | 慢、生硬、停顿长 | 更快更顺,但仍僵硬 | 快、自然、有表现力 |
| 打断处理 | 不支持 | 停顿/噪音易误触发 | 可暂停、打断、恢复 |
| 深度任务 | LLM 在线处理 | 模型在线处理 | 后台委托 GPT-5.5 |
四. 两个架构改动
全双工的持续交互
模型在生成输出的同时持续处理输入,每秒做多次交互决策——说话、继续听、停顿、打断,还是调用工具。这带来更自然的你来我往、更好的时间感,还顺带解锁了实时同传。
深度任务委托
把持续交互和重推理解耦。需要搜索、推理或 Agent 能力时,GPT-Live 把任务交给 GPT-5.5 后台执行,自己维持对话。这个设计还有个副产品:以后前沿模型更新,换掉后台模型即可,交互层不动。
五. 评测结果
OpenAI 为”对话舒适度”和”对话流”建了新的人工评测:5–10 分钟的匹配对话,逐项对比总体偏好、轮次切换、打断、流畅度、自然度。测试者明显更偏好 GPT-Live-1 和 mini。
自动化基准上,GPT-Live-1 同样领先:
- GPQA:专家级科学推理,大幅超越 Advanced Voice Mode
- BrowseComp:Agent 式网页搜索,显著提升
- τ³-Voice Telecom(内部变体):多轮电信客服任务,领先
档位说明:GPT-Live-1(Instant)和 mini 后台用 GPT-5.5 Instant;GPT-Live-1 Medium 和 High 后台用 GPT-5.5 Thinking,分别对应中、高推理强度。
六. 典型场景
- 免提求助:做饭问步骤、开车问路线,不碰屏幕
- 语言陪练:连续对话,随时纠音
- 实时同传:全双工的时序控制天然适配边听边译
- 通勤研究:路上问个难题,GPT-5.5 后台搜索,聊着天等结果
- 客服工作流:τ³-Voice Telecom 评测对应的就是这类多轮支持任务
- 可视化回答:说话时屏幕同步展示天气、股价、赛程卡片
七. 全双工决策循环:一个概念演示
API 尚未开放。下面是决策循环的示意性模拟,不是真实 API。可直接用 Python 运行看流程:
"""GPT-Live 全双工决策循环的示意模拟(非真实 API)"""
import random
random.seed(7)
class BackgroundModel: # 代表 GPT-5.5
def run(self, query):
return f"'{query}' 的答案"
class GPTLive:
def __init__(self, background):
self.background = background
self.pending = None # 进行中的委托任务
def decide(self, user_speaking, needs_deep_work):
# 真实模型每秒做多次这个决策
if self.pending is not None:
return "await_delegate"
if needs_deep_work:
return "delegate"
if user_speaking:
return random.choice(["listen", "backchannel"])
return "speak"
def step(self, frame):
action = self.decide(frame["user_speaking"], frame["needs_deep_work"])
if action == "delegate":
self.pending = frame["query"] # 移交任务,继续说话
return 'speak -> "稍等,我还在呢"'
if action == "await_delegate":
result = self.background.run(self.pending)
self.pending = None
return f'speak -> "{result}"'
if action == "backchannel":
return 'backchannel-> "嗯哼"(用户说话时)'
if action == "listen":
return "listen ->(安静,倾听中)"
return "speak ->(正常回复)"
stream = [
{"user_speaking": True, "needs_deep_work": False, "query": None},
{"user_speaking": True, "needs_deep_work": False, "query": None},
{"user_speaking": False, "needs_deep_work": True, "query": "傍晚6点的天气"},
{"user_speaking": False, "needs_deep_work": False, "query": None},
{"user_speaking": False, "needs_deep_work": False, "query": None},
]
live = GPTLive(BackgroundModel())
for i, frame in enumerate(stream):
print(f"frame {i}: {live.step(frame)}")
八. 对实时语音链路意味着什么
全双工把工程压力压向了模型底下那条链路。三点变化对做语音应用的团队最直接:
回声消除成为硬门槛
模型说话时麦克风还开着,设备会听到自己的声音。AEC 不干净,模型会把自己的输出误判成用户插话。外放、车载、会议场景被成倍放大。
上行流必须持续在线
轮次制可以靠 VAD 门控省带宽,全双工不行——模型需要连续输入才能区分”在思考”和”说完了”。丢包和抖动不再只是识别错几个字,而是直接污染交互决策:一段音频空洞传到模型侧,很可能被当成”用户停顿了”来处理
延迟预算收紧
模型每秒多次决策的能力,要靠足够低的网络往返才能变成用户可感知的自然度。模型侧再快,链路吃掉三四百毫秒,打断响应照样迟钝。
九. ChatGPT Voice 具体变了什么
每周超过 1.5 亿人使用 ChatGPT 的 Voice 和听写功能。现在点击语音按钮即进入 GPT-Live 体验:支持打断、停顿、要求放慢语速;九个音色全部重制;推理档位可选 Instant/Medium/High;用户思考时模型会等待;嘈杂环境下更聚焦人声;对话中可展示天气、股价、体育赛事的可视化卡片;继续支持搜索、记忆、图片和文件上传。
限制:上线时不支持视频通话和屏幕共享(旧版 Voice 保留这些功能);部分语言可能有口音或流利度差距;GPT-Live-1 默认给 Go/Plus/Pro 用户,mini 默认给免费用户。
