语音AI本周大事:Mistral和ElevenLabs同天开打,日本声优正式立规矩
直接答案
本周TTS行业三件事值得留意。10月21号,Mistral和ElevenLabs同天发布了各自的语音智能体产品,赛道正式开打。10月20号,日本演员协会发布了首版AI声音使用准则,声音版权在全球范围内继续收紧。
| 事件 | 时间 | 核心内容 | 对创作者的影响 |
|---|---|---|---|
| Mistral发布Voxtral 3 | 10月21日 | 3个转录模型+1个TTS+LiveKit Agent SDK | 语音Agent开发有了欧洲选项,支持私有化 |
| ElevenLabs上线Realtime | 10月22日 | 端到端语音Agent平台,v4模型驱动 | 低延迟语音对话开箱即用 |
| 日本AI声音准则发布 | 10月15日/20日公示 | 声音复刻须全程授权,AI语音视为"表演" | 出海内容需注意声音版权合规 |
| VoiceStudio开源 | 10月19日 | ElevenLabs本地替代品,646种语言 | 不想用云API的有了桌面端选择 |
Mistral Voxtral 3:语音Agent的全家桶来了
10月21号,Mistral AI正式推出Voxtral 3。这不是一款单纯的TTS模型,而是一整套语音智能体方案。
拆开来看:
- Voxtral Small Transcribe 3:转录模型,支持50多种语言,带说话人分离和上下文偏置(可以预先提供术语、人名提升识别准确率)
- Voxtral Mini Transcribe 3:40亿参数的轻量版,每分钟0.0035美元
- Voxtral Speech 3:TTS模型,35种语言、50多种方言,能根据上下文调整情绪和语速。Pro Voice功能用30分钟音频就能克隆声音
- LiveKit Agent SDK:把转录、推理、工具调用、语音生成串成一条实时管线,对话轮次控制在1秒以内
价格方面,转写每分钟0.0035到0.008美元,TTS每百万字符13美元。支持API调用,也支持私有化部署。
有意思的是它的模块化设计。转录、推理、发声三个环节可以分别替换——你可以用Mistral的转录模型,接自己的大模型做推理,再用它的TTS输出。对呼叫中心、车载助手这类需要定制的场景来说,这种灵活性比"全家桶一把梭"更实用。
ElevenLabs Realtime:同天开火
巧了,ElevenLabs也在同一天放出了Realtime语音Agent平台。有媒体把10月21号叫"语音智能体对撞日"。
ElevenLabs的路线和Mistral不同。它不拆模块,直接给你一个端到端平台:基于v4和v4 Turbo模型,90多种语言,10秒音频克隆声音,延迟低于100毫秒。用户说话、Agent理解、调用工具、语音回复,整个流程一气呵成。
v4模型本身是9月底发布的,主打情感表达——同一段文字,它能根据上下文调整语速、情绪和停顿。支持叠加多个情感标签,做更细腻的语气控制。日语、普通话、粤语的合成质量比上一代好了不少。
ElevenLabs今年的增长很猛。年初年化收入3.3亿美元,现在已经超过6亿,员工800多人,估值110亿。企业通话业务占了55%以上。这次Realtime平台上线,明显是冲着语音客服和语音Agent的商业市场去的。
日本演员协会:声音不能随便用了
10月15号,日本演员协会(JAU)发布了首版生成式AI声音使用准则。20号消息传开,国内媒体跟进报道。
准则的核心内容:
- 声音复刻的每个环节都必须获得演员本人同意——数据采集、模型训练、最终输出,一步都不能少
- 经授权生成的AI语音被视为一种"表演",企业需要向演员支付报酬或版税
- 禁止复刻已故演员的声音,除非生前已明确授权,且还需获得家属和经纪公司许可
- AI翻译配音必须保持原表演的"艺术完整性",未经许可不得用于海外
- 授权有效期最长一年,反对一次性买断
发布会上,给《龙珠》孙悟空配音的野泽雅子说了一句话:"未经许可使用我的声音,和盗窃没有区别。"
这份准则有约2600名配音演员和演员会员背书,是日本首批针对AI语音的行业规范。虽然它不是法律,没有强制力,但信号很明确:声音版权在全球范围内都在收紧。
对国内创作者来说,如果你的内容涉及出海,或者用了真人声音做克隆素材,这件事值得认真对待。国内方面,民法典已经明确声音权受保护,国家安全部上个月也发文警示了AI语音深度合成的三大风险。
VoiceStudio:ElevenLabs的开源本地替代品
10月19号,有人扒了一下VoiceStudio这个项目。它前身叫OmniVoice-Studio,9月上了GitHub Trending,现在star数已经过了4万。
简单说,它把16个TTS引擎和11个语音识别引擎打包到一个桌面应用里,支持646种语言,全部本地运行。不需要账号、不需要API Key、不需要订阅。
核心能力包括零样本声音克隆(3-15秒音频)、声音设计(不克隆真人,用参数合成新声音)、视频配音、有声书生成。技术栈是Tauri壳加FastAPI后端,还提供了OpenAI兼容API和MCP服务接口。
代码是AGPL-3.0协议,但要注意,里面集成的各个TTS引擎各有各的许可条款。商用前得逐一确认。
这些事情放在一起看
本周的消息放在一起,有一个趋势比较清楚:语音AI正在从"生成工具"变成"交互基础设施"。
以前TTS的用法是:写好文案,生成音频,放到视频里。现在Mistral和ElevenLabs在做的事情是:让AI实时听你说话、实时思考、实时用语音回答。这就是语音智能体和普通TTS的区别。
做AI客服、游戏NPC、车载助手、免提操作——这些场景需要的不是"把字念出来",而是"像人一样对话"。Mistral的模块化SDK和ElevenLabs的端到端平台,分别代表了两种实现路径。
与此同时,声音版权的口子在收紧。日本立了规矩,国内也在跟进。以后用AI克隆真人声音,合规成本会越来越高。用自己的声音、用授权的音色库,或者用开源模型本地跑,是更稳妥的选择。
如果你只是做短视频配音、有声书这些不需要实时交互的场景,浮云梦配音(fuym.cn)依然是最简单的方案——手机浏览器打开,上百种音色随便选,不用折腾部署。
总结
本周语音AI赛道出了三件大事。Mistral和ElevenLabs同天发布语音智能体产品,语音Agent从概念进入实战阶段。日本演员协会发布首版AI声音准则,声音版权全球收紧。VoiceStudio开源项目给不想用云API的用户提供了本地方案。对做内容的人来说,实时语音交互是接下来的大方向,声音合规也越来越重要。
参考文献
- Mistral AI. Voxtral 3: Speech-to-Text, TTS and a Voice Agent SDK. https://aihot.virxact.com/items/dhwioh7ia1dang27k17blre9j. 访问日期:2026-10-23.
- 日本演员协会发布首版生成式AI准则,复刻演员声音须全程获授权. 站长之家. https://m.chinaz.com/ainews/31756.shtml. 访问日期:2026-10-23.
- 语音智能体对撞日:ElevenLabs迎战Mistral. 今日头条. https://m.toutiao.com/a7698971766068085286/. 访问日期:2026-10-23.
- VoiceStudio深度解析:ElevenLabs的开源本地替代品. CSDN. https://blog.csdn.net/bulebell1/article/details/168435989. 访问日期:2026-10-23.
- ElevenLabs发布v4语音模型,支持90种语言. 搜狐. https://m.sohu.com/a/1081945029_122066678/. 访问日期:2026-10-23.
- 浮云梦配音. 免费在线 AI 语音合成工具. https://fuym.cn. 访问日期:2026-10-23.
常见问题
Mistral Voxtral 3和ElevenLabs Realtime有什么区别?
+Voxtral 3是Mistral的语音Agent全家桶,包含3个转录模型、1个TTS模型和LiveKit SDK,走模块化路线,支持私有化部署。ElevenLabs Realtime是端到端语音Agent平台,基于v4模型,主打低延迟和开箱即用。前者适合需要自托管的企业,后者适合快速上线的团队。
日本AI声音准则对中国用户有影响吗?
+准则本身是日本行业自律规范,没有法律强制力。但它释放了一个信号:声音版权正在全球范围内收紧。如果你做跨境电商或出海内容,用AI克隆真人声音前一定要拿到授权。国内方面,民法典已经明确声音权受保护,国家安全部上个月也发了AI语音深度合成的风险提示。
语音智能体和普通TTS有什么不一样?
+普通TTS是给你一段文字生成语音,一次性的。语音智能体是实时对话——它听你说话、理解意思、调用工具、再用语音回答,整个流程在一秒内完成。做AI客服、游戏NPC、车载助手这些场景,需要的是智能体而不是单纯的TTS。
浮云梦配音支持哪些新的语音能力?
+浮云梦配音(fuym.cn)支持上百种音色、多语言切换、情感风格调节,手机浏览器直接用,不用装环境。适合短视频配音、有声书、课件朗读这些场景。