网易发布 Confucius4-TTS：业内首个支持 14 种语言跨语种无口音、且无需参考文本即可完成语音克隆的开源模型，3 秒音频即可克隆音色

IT之家 6 月 23 日消息，网易有道今日发文，宣布推出“子曰 4.0”TTS 语音合成引擎 ——Confucius4-TTS。据网易有道官方介绍，Confucius4-TTS 是业内首个支持 14 种语言跨语种无口音、且无需参考文本即可完成语音克隆的开源模型。在技术性能方面，Confucius4-TTS 实现了零样本语音克隆能力。用户仅需提供 3 秒音频素材，无需参考文本与前期训练，模型即可完成音色克隆，克隆音色与原声相似度超过 85%，克隆任务准确度达 97%。据介绍，该模型全面支持中文、英语、西班牙语、法语、德语、韩语、泰语、越南语等 14 种语言的自然流利表达。其核心突破在于解决了语音合成领域长期存在的跨语种口音问题 —— 用户上传中文音频，AI 即可用该音色流利说出日语、英语等外语，发音地道自然。在情感表达方面，Confucius4-TTS 区别于传统 TTS 依赖文本标签控制情感的粗放方式，创新性地支持音频 Prompt 情感克隆迁移。系统可自动提取参考音频中的情感特征，精准复刻其语调、韵律，实现跨语种无损迁移。在底层架构上，Confucius4-TTS 实现了全面革新。相较于初代 EmotiVoice 采用的 HiFi-GAN 声码器和 Speaker ID 查表方案，Confucius4-TTS 引入了 GPT 式语义大模型作为主干，搭配基于 SSL 预训练特征和 ECAPA-TDNN 的可学习说话人编码器，并采用 Flow Matching 流匹配生成框架，不再沿用传统声码器方案。网易有道已将 Confucius4-TTS 全量开源，采用 Apache 开源协议，面向全球开发者开放完整模型权重和配套工具链，商用无限制。开发者可下载 54GB 完整资源包进行本地离线部署，满足数据安全与定制化需求。在应用场景方面，Confucius4-TTS 可为多语种内容生成、数字人配音、跨语言教学、短剧出海及全球化传播提供低门槛的国产化技术底座。网易有道表示，希望通过全量开源 Confucius4-TTS，降低语音克隆和情感合成的门槛，让每一个声音都能跨越语言的边界。该模型已在 GitHub 面向全球开发者开源。IT之家附官方地址：https://github.com/netease-youdao/Confucius4-TTS