语音AI的工具成本在往下走,免费可用的选项也越来越多。本篇整理了5个目前可以直接上手的工具,有免费限速的云端API,也有完全开源可以自托管的项目,覆盖语音链路的不同环节,值得开发者和正在搭语音AI产品的团队一试。
一. Bosonai Higgs TTS 3
类型:TTS API(云端,免费限速)
接入:OpenAI兼容格式
链接:docs.boson.ai

Bosonai 这周发布了 Higgs TTS 3,4B参数的TTS基础模型,API 目前免费(有请求频率限制)。
- 零样本声音克隆:提供几秒钟的参考音频,模型可以直接模仿这个说话人的音色,不需要微调。
- 100+ 语言支持:包括中文各方言、东南亚语言等长尾语种,覆盖面广。
- 内联控制:在文本里直接标注情感、停顿、语速、音效,不需要额外的接口参数。
端点格式兼容 OpenAI TTS API(POST /v1/audio/speech),一个最小请求只需要 model 和 input 两个字段:
import os
import requests
resp = requests.post(
"https://api.boson.ai/v1/audio/speech",
headers={"Authorization": f"Bearer {os.environ['BOSON_API_KEY']}"},
json={
"model": "higgs-tts-3",
"input": "你好,这是一段测试语音。",
"voice": "default",
},
)
resp.raise_for_status()
with open("out.mp3", "wb") as f:
f.write(resp.content)
权重同步开放在 HuggingFace(bosonai/higgs-tts-v3-4b),如果需要高吞吐量本地部署,可以用 SGLang 跑。
适合:需要多语言TTS、想快速验证声音克隆效果,或者想替换掉商业TTS服务来省成本的团队。
二. SoundWise:浏览器里的免费转录,数据不出本地
类型:ASR工具(浏览器端,永久免费)
链接:soundwise.ai

SoundWise 做的事情很简单:在浏览器里跑语音转录,支持 90+ 种语言,永久免费,无需注册账号。打开网页就能用,没有任何配置步骤。
对于语音AI开发早期,这个工具的价值在于零摩擦:不用申请 API key,不用写代码,上传一段音频就能快速判断转录质量、对比不同语言的表现。做产品调研或者验证某个语言是否支持得够好,SoundWise 是最快的方式。
需要注意:官方隐私政策注明使用了 AWS、Google、Microsoft 等云服务处理数据,音频文件会经过其服务器。如果你的场景对数据主权有严格要求,使用前需要确认是否符合合规标准。
适合:快速验证转录质量、语言覆盖测试、不想配置环境只想看效果的开发者。
三. ViiTorVoice
类型:开源TTS(本地部署)
特性:非自回归,支持单词级音频编辑
现有TTS系统有一个普遍痛点:如果已经生成好的一段语音里有一个词说错了,技术上可以只重新合成那个词再剪进去,但拼接处的音调和节奏要实现前后无缝衔接比较麻烦。
ViiTorVoice 这周开源,它用非自回归架构把合成单元细化到了词级别。核心能力:直接替换已生成音频中的某个词,不需要重新生成整段录音,前后的音色和节奏保持一致。
目前仍是研究导向的早期开源项目,生产可用性需要自己评估,但这个方向值得关注。
适合:有声书制作、语音内容后期处理、需要对TTS输出做精细编辑的场景。
四. HuggingFace 开源 Speech-to-Speech Stack
类型:端到端开源语音对话栈
组成:Parakeet(ASR)+ Gemma 4 31B(LLM)+ Qwen3TTS(TTS)
链接:github.com/huggingface/speech-to-speech
这是目前开源里最完整的端到端语音对话方案。三个组件各司其职:
- Parakeet 做 ASR,把用户说的话转成文字;
- Gemma 4 31B 做语言理解和生成,决定回答什么;
- Qwen3TTS 把回答合成成语音播放出去。
这套栈已经在超过 9,000 台 Reachy Mini 机器人上部署(物理 AI 应用,不只是对话助手)。整个链路完全开源,可以自己选择每一层用哪个模型,也可以替换掉其中某一个组件。
对于想从零开始搭一个完整语音对话系统的团队,这套栈省去了大量选型和集成工作。你不需要自己决定用哪个ASR、哪个TTS、怎么把它们串起来,官方给了一套跑通的组合。
适合:想搭完整语音对话原型、做机器人或智能硬件语音交互、或者需要完全控制每个组件的团队。
五. Interfaze Diffusion-Gemma-ASR-Small
类型:开源ASR模型(研究导向)
支持语言:6种
论文/项目:MarkTechPost
当前主流 ASR 系统(包括 Whisper 系列)用的是自回归解码:一个词一个词顺序生成转录文本。Interfaze 的 Diffusion-Gemma-ASR-Small 尝试用并行去噪解码器做ASR,同时处理多个时间步,而不是逐步生成。
扩散范式在图像和TTS领域已经证明了并行生成的速度优势。如果同样的逻辑在ASR上成立,理论上可以在更低延迟里完成转录,这对实时语音对话场景意义很大。
目前支持6种语言,精度尚未达到 Whisper large-v3 的水平,定位是研究导向的早期项目。但扩散式ASR是一个值得持续追踪的方向。
适合:对语音AI底层架构感兴趣、想早期接触下一代ASR技术方向的研究者和开发者。
六. 5个工具速查
| 工具 | 类型 | 核心亮点 | 适合场景 |
|---|---|---|---|
| Bosonai Higgs Audio v3 | TTS API(免费限速) | 零样本声音克隆,100+语言,OpenAI兼容 | 多语言TTS、声音克隆原型 |
| SoundWise | 浏览器转录(永久免费) | 本地处理,数据不出设备,98+语言 | 隐私敏感转录、快速原型验证 |
| ViiTorVoice | 开源TTS | 非自回归,支持单词级音频编辑 | 语音内容后期处理、有声书制作 |
| HuggingFace S2S Stack | 端到端开源语音栈 | Parakeet+Gemma4+Qwen3TTS,9000+机器人验证 | 完整语音对话系统原型 |
| Interfaze Diffusion-Gemma-ASR-Small | 开源ASR(研究导向) | 扩散式并行解码,6语言 | 关注下一代ASR技术方向 |