11 月 4 日,Google 正式开放 Voice Remixing,支持在 Google AI Studio 和 Gemini API 中使用。开发者可以从语音库中选择一种声音,也可以使用自己设计的音色,再通过自然语言指令调整音色、音高、语速和口音。Voice Remixing 并非全新的语音模型。Google 在今年 9 月 23 日发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 时,就已经介绍了 Voice Design(声音设计)、Voice Replication(声音复刻)和自定义声音保存功能。当时 Voice Remixing 仍标注为 Coming soon。
此次更新补上了声音设计中一个很实际的操作:选定音色之后,还能继续修改,并把调整后的声音用于后续内容生成。
一. Voice Remixing 能修改哪些声音属性?
根据 Google 公布的信息,Voice Remixing 目前主要面向四类声音属性:Timbre(音色)、Pitch(音高)、Pace(语速)和 Accent(口音)。开发者可以使用文字提示描述希望达到的效果。
1. 音色:改变声音的质感
音色决定了不同声音之间的听觉区别。即使两个人以接近的音高、语速说出同一句话,声音的明亮度、粗糙感、鼻音和气声等特征也可能不同。
例如,开发者已经设计了一名游戏 NPC 的声音,希望在保留原有角色特征的基础上,增加一些沙哑感或降低声音的明亮度,就可以尝试通过描述性指令修改。
但音色调整属于生成模型的控制能力,并不意味着每项声学特征都能像音频编辑软件中的参数旋钮一样精确设置。最终效果仍需要通过试听确认。
2. 音高与语速:调整角色的说话方式
音高和语速是语音应用里经常需要修改的两个属性。
一名数字人讲解员的声音可能适合普通介绍,但同一角色在播放教学内容时,需要更慢的语速;在娱乐节目中,又可能需要更有活力的表达。
Voice Remixing 可以根据自然语言要求调整这些特征。与每次生成语音时临时指定语速相比,开发者还可以把调整后的声音作为新的自定义音色保存,供后续合成使用。
不过,音色的长期特征与某一句话的临时表达需要分开处理。比如,一位角色通常以平稳的声音讲话,但在某句话中需要表现惊讶,不一定需要为这句话重新创建一种声音。
3. 口音:从一种声音派生不同地区的版本
口音是这次更新比较值得关注的能力。
Google 给出的示例包括在已有声音中加入轻微的美国南部口音。开发者也可以尝试用类似方式调整声音的地区发音特征。
对于游戏、有声内容和多语言应用,口音往往是角色设定的一部分。相同的台词,如果由不同地区的角色说出,发音和语调会有所区别。
不过,修改口音不等于自动完成语言翻译,也不保证某种地区口音的每个语音细节都准确。特别是多语言角色,仍需要使用相应语言的文本进行试听和质量验证。
二. Voice Remixing 与 Voice Design、Voice Cloning 有什么区别?
Google 目前提供了几种不同的声音创建方式,名称比较接近,但输入材料和使用目的不同。
| 功能 | 输入内容 | 主要用途 |
|---|---|---|
| Voice Design | 自然语言描述 | 从头设计一种声音 |
| Voice Replication | 参考音频及授权确认材料 | 复刻特定说话者的声音特征 |
| Voice Remixing | 已有声音及修改指令 | 基于原有声音生成调整后的版本 |
| TTS Style Control | 文本及表达风格指令 | 控制某一轮语音的表达方式 |
1. Voice Design:先把声音设计出来
Voice Design 允许开发者使用文字描述创建新的声音。例如,设计一个语气温和、带有轻微沙哑感的中年角色,或者一个说话速度很快、富有活力的游戏解说员。
Google 在 Gemini 3.8 TTS 的发布资料中介绍了这项能力,开发者可以通过 Google AI Studio 或 Voices API 生成自定义声音。
对于需要长期使用的角色,Voice Design 的作用是先确定一套基本的声音身份。
2. Voice Replication:需要参考音频与授权
Voice Replication 使用参考录音复刻说话者的声音。与单纯用文字描述声音不同,它的目标是尽量重现某位说话者的声音特征。
Google 公布的方案支持使用约 30 秒的参考音频创建声音,同时要求提供声音所有者的同意确认录音。
这类能力适用于获得授权的配音制作、个人声音保存等场景,但涉及真实个人身份与声音使用权,不能把它与普通的虚拟角色音色设计混为一谈。
3. Voice Remixing:已有声音还能继续调整
Voice Remixing 的输入基础是已经存在的一种声音。
开发者可以从 Google 的语音库中选择声音,或使用此前通过 Voice Design 创建的自定义声音,再指定需要改变的特征。
例如,一个角色已经有了合适的基本音色,但制作团队希望加入地区口音,或者让声音更符合新的年龄与性格设定,就可以基于原有版本继续调整。
需要注意,这里所说的“修改声音”,是生成新的声音配置,供后续 TTS 合成使用,并不是把一段已经录好的 WAV 文件直接变成另一种声音。
4. Style Control:只调整一句话的表达
Google 的 Gemini 3.8 TTS 还支持通过 speech_metadata.style 设置当前语音片段的表达风格。
例如,同一名角色需要在不同台词中表现低声、犹豫、兴奋或不满,可以通过语音生成指令调整具体表现,而不必为每种情绪创建一套新的音色。
Google 的开发建议是,优先通过声音设计确定角色的长期声音特征,再使用简短的 Style 指令控制单轮表达。
这样也更容易保持角色在连续内容中的声音一致性。
三. 开发者如何通过 Voices API 使用自定义音色?
Google 已经将自定义声音管理整合进 Gemini Voices API。开发者可以使用 API 创建、查询、列出和删除声音,也可以在后续 TTS 请求中引用保存的声音 ID。
Voices API 目前属于 Beta 版本,使用 /v1beta/ 接口。
1. 创建与修改声音
Voices API 提供的 CreateVoice 接口为:
POST https://generativelanguage.googleapis.com/v1beta/voices
创建声音时,可以使用文本描述生成自定义音色,也可以在支持的配置中指定基础声音(base_voice),以已有声音为参考生成新的声音版本。
这种方式适合制作同一声音的不同变体。例如,项目已经保存一套角色声音,希望增加一个语速更慢的版本,就可以在创建新声音时引用基础声音并提供修改要求。
实际请求字段需要按照官方 Voices API 的 Voice 数据结构配置,不建议直接把自然语言提示误认为完整的 API 请求格式。
2. 通过 Voice ID 保存并复用
创建并保存成功后,Google 会为自定义声音分配一个 ID,格式类似:
voice_abc123def456
这个 ID 可以在后续的语音合成请求中使用,开发者不需要每次重新描述完整的声音设定。
例如,一款游戏已经为不同 NPC 建立声音资产,可以在角色配置中保存相应的 Voice ID,并根据角色身份选择合适的声音。
Google 的 TTS 文档支持在语音配置中引用这些声音 ID,使自定义声音能够融入已有的文本转语音生成流程。
3. 声音可以管理,但不是永久无限保存
根据 Google 当前文档,持久化的自定义声音使用 voice_... 标识符,每个项目的有效存储声音配额为 200 个。
已保存的声音保留期限为一年。通过语音合成再次使用,或者作为基础声音创建新版本,可以延长对应的过期时间。
Google 还为特定声音复刻场景提供无状态的 voicekey_... 机制,其有效期和存储方式与持久化 Voice ID 不同。
这意味着开发者不能仅靠保留一个 Voice ID,就假设声音资产可以永久不变、无限期调用。
对于长期运营的应用,仍应建立自己的声音资产记录,包括使用场景、版本、创建时间、授权信息及有效期。
4. 已保存的声音如何用于语音合成?
Google 的 Gemini 3.8 TTS 支持在语音合成配置中选择预设声音或自定义 Voice ID。
开发者只需将需要朗读的文本传给相应模型,再使用语音配置指定目标声音,即可生成新的音频。
当前 Gemini 3.8 TTS 支持完整音频生成和流式音频输出。非流式请求默认输出 WAV;流式请求默认输出 PCM 音频块。
如果应用需要实时播放,还需要自行处理音频块缓存、播放器接入和网络传输。声音能够保存和复用,并不意味着相应 TTS 请求的响应延迟一定降低。
四. 游戏、数字人和 AI 陪伴产品能怎么使用?
1. 游戏 NPC:一个角色需要一套稳定的声音
对于拥有大量 NPC 的游戏,配音成本不仅来自台词数量,还来自不同角色之间的声音区分与长期一致性。
例如,一名角色在游戏首发版本中已经建立了固定声音,后续剧情更新、新增任务和多语言版本仍需要保持相近的听觉特征。
开发团队可以使用 Voice Design 创建角色基础音色,再保存声音 ID。需要调整角色口音或音色时,使用 Voice Remixing 制作新的候选版本。
不过,如果需要从一种语言转换到另一种语言,仍然需要处理翻译、发音及文化语境问题。Voice Remixing 本身并不负责生成正确的多语言剧情文本。
2. AI 数字人:让角色声音与视觉设定保持一致
数字人的形象、服装和表情可以在制作阶段不断调整,声音也需要与人物设定匹配。
对于品牌数字人或虚拟主播,制作团队可能已经选定了一种基础音色,但在不同节目中需要略微调整语速和表达风格。
将声音保存为可复用资产,可以减少长期内容制作中的重复选音工作。
但音色设计和数字人实时口型同步是两个不同的问题。后者仍需要处理 TTS 音频与视频渲染的时间对齐,不能因为加入 Voice Remixing 就自动解决。
3. AI 陪伴:声音一致性会影响角色体验
长期陪伴类应用通常会为 AI 角色设置固定性格、说话方式和声音。
如果角色每次说话的音色变化明显,即使回答内容符合设定,用户也可能感觉声音不连贯。
对这类产品而言,保存角色声音、统一不同会话中的音色设置,比单次生成出一种非常特别的声音更重要。
Voice Remixing 可以作为角色声音制作和版本调整工具。但实际产品仍需要测试多轮语音的一致性、不同语言的发音,以及长时间运行时的生成成本。
4. 有声内容:调整声音而不必重做角色设计
播客、有声书和知识讲解产品也会遇到类似需求。
例如,一档节目已经使用某种旁白声音,后来希望制作节奏更轻快的短视频版本,或者适应不同地区听众的发音习惯。
对于这种情况,可以保留原有声音设计,再尝试修改语速、口音和表达方式。
不过,如果原始音频已经生成,修改声音配置通常意味着需要重新合成相关内容。不能将 Voice Remixing 理解为传统音频编辑器中的无损变声功能。
五. Voice Remixing 还有哪些使用限制?
1. 声音可编辑,不代表一定能保持原有角色特征
通过自然语言修改音色时,模型可能同时改变多个声学特征。
例如,要求声音更低沉时,结果可能不仅表现为音高降低,还伴随语气、音色厚度或发声方式变化。
因此,开发者应该保存原始版本,并使用固定测试文本对比修改前后的声音。
对于游戏角色和品牌数字人,建议建立一致性测试集,包括日常对话、长句、情绪表达和多语言文本。
2. Voice Remixing 不等于实时语音变声
这次发布面向的是自定义声音和 TTS 生成流程。
如果开发者希望把用户正在说的话实时转换成另一种声音,还需要使用适合实时音频输入的 Voice Conversion 架构,并测试其端到端处理延迟。
目前公开的 Voice Remixing 功能不能直接等同于实时通话中的变声系统。
3. TTS 自定义声音不能直接视为 Live API 支持
Google 将文本转语音 TTS 与用于实时对话的 Gemini Live API 区分为两类模型服务。
2026 年 10 月,Google 开发者论坛的官方回复明确指出,通过 Voice Design 创建的自定义声音当时仅支持 Gemini TTS,不能直接用于 Gemini 3.8 Live。
因此,开发者如果要将自定义声音用于原生 Speech-to-Speech 的实时对话系统,需要核对最新的模型兼容范围,而不能因为 Voice ID 可以用于 TTS,就推断所有 Gemini 语音模型都支持。
4. 声音复刻与声音编辑需要处理授权问题
Google 对 Voice Replication 设置了声音所有者同意验证,并在生成音频中引入 SynthID 水印机制。
Voice Remixing 虽然可以修改已有声音,但如果基础声音涉及真实个人,开发者仍需确认相应授权范围。
对于商业内容制作,尤其是配音演员、公众人物声音和品牌声音资产,还需要明确后续修改、衍生使用和跨平台发布是否获得许可。