直接答案

这周语音AI圈有五件事值得说。NVIDIA开源了一个能打的多语种转写模型;Phonic-1和Inworld把语音智能体的响应速度往前推了一步;最高法的AI声音新规落地满月,第一批案件已经判赔;TTS工具的选型标准悄悄换了;还有一家支付公司做了个"会停顿"的语音模型,反而让人眼前一亮。

事件时间关键点谁能用上
NVIDIA Nemotron 3.5 Transcribe开源10月28日40语种转写+说话人标注+翻译,WER 4.62%做纪要、播客转录、客服质检
Phonic-1语音对话模型11月1日边听边查工具,50+语言,同音色切换做语音客服、实时问答
Inworld Realtime TTS-2更新11月1日按上下文先决定语气再生成做AI陪聊、游戏NPC
最高法AI声音新规满月10月8日满一月《原神》案判赔75万,老人声音商用判赔所有做声音克隆的人
TTS选型标准变化11月3日从比音色数量转向比工程可靠性配音团队、译制团队

NVIDIA开源Nemotron 3.5 Transcribe:一个模型干四件事

10月28号,NVIDIA在Research和Hugging Face同步放出了开源权重语音模型Nemotron 3.5 Transcribe,同时公开了Granary v2语音数据管线。

这模型厉害的地方在于它一个顶四个:语音转写、说话人归属标注、翻译、音频问答,全在一个模型里完成。支持40种语言,最长能处理约1小时的录音,最多标注8名说话人。其中31种语言可以和英语互译,13种支持说话人归属。

架构上是语音增强语言模型(SALM):Transformer语音编码器 + 冻结的Nemotron 3 Diarization + Nemotron 3.5 Lightning 30B-A3B混合Mamba-Transformer MoE,活跃参数约4.3B。

官方自报的数据:英语Open ASR Leaderboard九个公开测试集平均词错率4.71%,多语言榜4.62%,都是开源权重里最好的。给了实体列表做上下文偏置后,命名实体错误大约降到六分之一。

配套还有Granary v2数据清单,覆盖约46.3万小时、48种语言,加NeMo Speech微调配方,可以做领域适配。

对做内容的人来说,最直接的用处是长音频处理。会议录音、播客、访谈、客服通话,一个模型出带说话人区分的转写稿。以前得串三四个工具,现在一步到位。

Phonic-1和Inworld TTS-2:语音智能体在抠细节

11月1号有两款产品更新,都在解决同一个问题——让AI说话更像人。

Phonic发布的Phonic-1,主打"你还没说完,AI先查起来了"。用户还在说话的时候,模型就能调用工具去查信息,等对方说完直接用语音回答。支持50多种语言,对话中途切换语言还能保持同一个声音。Phonic称它在Artificial Analysis的语音对话榜单排第一,已经开放使用。

这个能力解决的问题很实际。以前的语音Agent是"你说完→我开始想→查资料→再回答",中间那段沉默特别出戏。Phonic-1把查询提前到听的过程中,响应速度就上来了。

Inworld更新Realtime TTS-2,加入按上下文决定语气的能力——模型先判断这句话该怎么说,再生成声音。同次更新还改善了长时间朗读的声音稳定性,短句生成速度提升约13%。

这两件事放在一起看,语音智能体的竞争已经从"能不能对话"进入到"对话得有多自然"的阶段。停顿、语气、抢话这些细节,成了新的战场。

最高法AI声音新规满月:1.98元克隆一个声音的时代结束了

9月7号,最高人民法院发布《关于依法审理涉人工智能纠纷案件的意见》(法发〔2026〕10号)。10月8号落地满一个月,南都做了系列跟进报道,这周国内媒体集中讨论。

《意见》第四条把规则钉死了:未经同意使用自然人声音作为训练语料,模仿其音色、语调和发音风格生成可识别的合成人声的,构成对声音权益的侵害。

已经有判例了。

上海浦东法院判过一起:游戏《原神》63个角色的声音被AI复刻成资源包在二手平台售卖,判赔75万。

北京互联网法院10月19号通报了一起:66岁的李某某,当年在公开场合讲课的视频被人拿去做了声音克隆商用,同样判赔。南都起底发现,二手交易平台上AI声音克隆服务的价格低到1.98元。

还有个细节要注意:最高法明确,即便给内容做了AI标注,只要普通公众能识别出视频形象指向某个特定自然人,未经许可商用合成他人肖像、声音,依然构成人格权侵权。标注只是告知义务,不是免责牌。

配音公司729声工场在接受采访时说了实话:很多生成式工具并没有为资源库付费,而是用大数据捕捉或网络采集来扩充采样库。

这件事对创作者的影响很直接。用AI克隆真人声音,或者把自己声音授权给平台,现在都得留好书面授权记录。别在来路不明的小程序、电商服务里上传自己的录音。

TTS选型逻辑变了:不比音色数量,比会不会返工

11月3号有篇主流TTS工具的横评,里面提到的一个趋势我觉得说得挺准:行业从"音色数量"转向"工程可靠性与技术可控度"。

早期TTS赛道比的是谁音色多。现在创作者和译制团队关心的是另外几件事:

  • 长文本分段生成后,音色、语速、情绪会不会漂移
  • 多音字、专业术语、混合语种读得准不准
  • 多人剧本下音色隔离,会不会随机串音
  • 韵律自然度如何,能不能精细干预语气
  • 字幕对齐、时长适配、译制流水线这些配套能不能自动化

说白了,比的是稳不稳、要不要反复返工,而不是音色列表有多长。

这个判断我认同。做过几万字数批量配音的都知道,音色少几个不影响,但生成十条有八条要重录,就是灾难。分段一致性、多音字处理、换气停顿控制,这些"不酷"的指标才是真正的效率来源。

选型口诀可以记住:先定内容类型,再看风格维度、长文本一致性、韵律可控度、操作链路、授权清晰程度,最后才比单价。

一家支付公司做了个"会停顿"的语音模型

这周还有个小插曲值得聊。Block(就是做Square那家支付公司)旗下的Dessa语音模型被人写了篇评测。

作者的出发点是:最近看大模型发布越来越难被打动,每次都是代码能力上台阶、榜单换名次,扫完参数直接看价格。反倒是这些专注单一能力的垂直模型有意思。

Dessa的特点听起来很朴素:不抢话、会停顿、能改口。这三个词描述的不是性能指标,是聊天时的体感。作者说用它的时候找回了初次用ChatGPT那种震动。

我觉得这背后有个趋势:语音AI开始从"参数竞赛"走向"体验细节"。当大家都做到了90分音质,剩下的10分——什么时候该停、什么时候该插话、说错了能不能改口——反而成了差异化。

顺手记下三件小事

阿里云虚拟数字人要退市了。产品策略调整,11月30号停止新购,2027年5月31号停止续订和版本更新,2027年11月30号全面停服。官方建议迁移到云市场数字人、蚂蚁灵境、相芯、一知智能这些方案。在用阿里云数字人的团队要提前规划。

百融智能发布"百融声动"。主打Voice AI进入企业服务流程,做客服、催收、质检这类场景。

流式TTS被单独拿出来讨论了。语音之家有篇文章讲得很清楚:大模型已经能逐字生成回答,语音助手却迟迟不开口,问题往往出在TTS还在等完整文本。流式TTS在文本陆续到达时就开始合成,前面的音频播放时后面还在生成。做实时对话的话,这块值得研究。

如果你只是想给短视频、有声书、课件配个音,不用管上面这些技术细节。浮云梦配音(fuym.cn)手机浏览器打开就能用,音色、语速、情感直接在页面上调,生成完下载。批量任务可以走异步接口。

总结

这周五条线,方向很清楚。NVIDIA开源转写模型把长音频处理的门槛降下来了。Phonic-1和Inworld在抠响应速度和语气自然度。最高法新规满月,已有判例落地,声音克隆的合规成本实质上升。TTS选型标准从比音色换成比稳定性。垂直模型靠"会停顿"这种细节做出差异化。

技术上继续变好,合规上继续收紧。做内容的人两头都要顾:选工具看返工率,用声音留授权记录。

参考文献

  1. 英伟达发布开源语音转写模型 Nemotron 3.5 Transcribe. https://m.toutiao.com/a7701995138012217865/. 访问日期:2026-11-04.
  2. DeepSeek 开源Super-Agent 架构;Phonic-1、Inworld TTS-2 更新. 腾讯云开发者社区. https://developer.cloud.tencent.com/article/2774086. 访问日期:2026-11-04.
  3. 《原神》声音被"偷",获赔75万. 南都N视频. https://new.qq.com/rain/a/LNK2026102926036600/. 访问日期:2026-11-04.
  4. 1.98元,就能克隆一个声音. https://m.toutiao.com/w/1880431264047171/. 访问日期:2026-11-04.
  5. 2026主流TTS文本转语音工具横向测评:短视频配音选型避坑指南. https://mparticle.uc.cn/article.html. 访问日期:2026-11-04.
  6. 一家支付公司,做出了最会聊天的语音模型. https://mparticle.uc.cn/article_org.html. 访问日期:2026-11-04.
  7. 浮云梦配音. AI 语音合成工具. https://fuym.cn. 访问日期:2026-11-04.

常见问题

NVIDIA Nemotron 3.5 Transcribe能做什么?

+

一个模型同时完成语音转写、说话人归属标注、翻译和音频问答,支持40种语言,录音最长约1小时,最多标注8名说话人。4.3B活跃参数,权重和微调工具已公开。英语平均词错率4.71%,多语言4.62%,是开源权重里最好的。适合做会议纪要、播客转录、客服录音整理。

用AI克隆别人的声音会怎样?

+

已经有人被判赔了。上海浦东法院判过《原神》63个角色声音被AI复刻售卖的案子,赔75万。北京互联网法院10月19日通报,66岁老人的公开讲课视频被拿来做声音克隆商用,同样判赔。最高法9月的《意见》写得很清楚:未经同意用自然人声音作训练语料、模仿音色生成可识别的合成音,就是侵犯声音权益。

现在选TTS工具应该看什么?

+

别看音色总数了。这周的横评文章提到,行业指标已经换了:长文本分段生成后音色语速情绪会不会漂移、多音字和专业术语读得准不准、多人剧本会不会串音、韵律能不能精细干预、字幕对齐和时长适配这些配套链路自动化程度如何。简单说,比的是稳不稳、要不要返工,而不是音色多不多。

Phonic-1这类语音对话模型有什么特别的?

+

它能在你还没说完的时候就开始调用工具查信息,等你说完直接用语音回答。支持50多种语言,对话中途换语言也保持同一个声音。这是语音智能体的关键能力——以前的方案是你说完、它才开始想,延迟明显。Phonic称自己在Artificial Analysis语音对话榜单排第一。