dalao.ai

GPT-SoVITS

少样本声音克隆：一分钟音频即可微调开源

关于 GPT-SoVITS

GPT-SoVITS 是一套开源的语音合成与声音克隆工具，自带本地网页界面，覆盖从整理训练音频到合成语音的全流程。官方给出两种用法：用约 5 秒参考音频直接合成，或用约 1 分钟数据微调出更像的声音，支持中、英、日、韩、粤五种语言。代码以 MIT 许可证发布，作者为 GitHub 账号 RVC-Boss，截至 2026-10-25 星标 63,616。V5 模型已于 2026-10 合入主分支，但没有对应的正式 Release；2025 年公开的 9 个 CVE（命令注入与不安全反序列化）在 2026-10-19 的代码里仍能找到相关写法（部分加载点的风险取决于所装 PyTorch 版本）。

编辑部更新于 阅读约 11 分钟

它是什么

GPT-SoVITS 是一个开源的文本转语音（TTS）与声音克隆项目，代码、预训练模型下载脚本和一个基于 Gradio 的本地网页界面（WebUI）一起放在 GitHub 仓库 RVC-Boss/GPT-SoVITS。仓库简介写的是“1 分钟语音数据也能训练出好的 TTS 模型！（few shot voice cloning）”，括号里的意思是少样本声音克隆。README 列出两种用法：零样本合成，只给一段约 5 秒的参考音频就能生成同一音色的语音；少样本微调，用约 1 分钟的训练数据微调模型，换取更高的相似度和真实感。支持的语言为中文、英语、日语、韩语和粤语，并且可以跨语种合成，即用中文参考音频说英文句子。

名字由两部分组成，分别对应项目里的两个模型：GPT 部分负责从文本和参考音频生成语音的中间表示，SoVITS 部分负责把它还原成声音。README 的致谢列表把 ar-vits、SoundStorm、VITS 等列为理论来源。官方 wiki（2026-10-07 版）给出的参数规模为：v1、v2 为 90M+77M，v3 到 v5 为 330M+77M，v2Pro 为 133M+77M，v2ProPlus 为 152M+77M。

仓库由 RVC-Boss 于 2024-01-15 创建并提交第一版代码。该账号的公开资料没有填写姓名、所在地和简介。RVC-Boss 同时是另一个变声项目 RVC-Project/Retrieval-based-Voice-Conversion-WebUI（2023-03-27 创建，MIT 许可证，截至 2026-10-25 星标 38,846）贡献者列表中排第一的账号。中文文档包括中文 README、中文更新日志、语雀上的中文用户手册，并为中国大陆用户单独提供 AutoDL 云端镜像和 ModelScope 下载源；同时也有英、日、韩、土耳其文 README，以及 README 链接的 rentry 英文指南。

截至 2026-10-25，仓库星标 63,616、分叉 6,721，主分支共 1,065 次提交，其中 620 次署名 RVC-Boss，其余来自约百名贡献者；未关闭的 issue 800 个、PR 104 个。主分支最近一次提交在 2026-10-19，内容是 API v2 的语义流式切分。

GitHub Releases 只有四个正式标签：20240821v2（2024-08-21）、20250228v3（2025-02-28）、20250422v4（2025-04-22）、20250606v2pro（2025-06-06）。之后的更新都直接进入代码分支：2025-11 加入流式推理，2026-08 更换了自动语音识别模型并改进单卡训练，2026-10-05 起加入 CUDA Graph 加速和 V5 模型，V5 的代码于 2026-10-06 合入主分支，但截至 2026-10-25 没有为它打 Release 标签。

本软件以MIT协议开源, 作者不对软件具备任何控制力, 使用软件者、传播软件导出的声音者自负全责.

GPT-SoVITS 主 WebUI 与推理界面顶部声明

核心能力

零样本和少样本两条路。只想快速出声，给 5 秒左右的干净参考音频和对应文本即可；想要更稳定、更像的声音，就用 WebUI 的训练流程微调两个模型。官方 wiki（2026-10-07）写明 V5 的少样本微调效果“尚未研究或测试”。wiki 还提到，决定微调的话，V2 与 V2Pro(Plus) 在 SoVITS 音色相似度上差别不大。

模型的演进路线。按中文更新日志：V2 于 2024-08-21 发布，新增韩语和粤语，SoVITS 底模训练数据从约 2 千小时扩到约 5 千小时；V3 于 2025-02-11 合入，音色相似度提高，首发时微调需要 14G 显存，2025-02-12 加入梯度检查点后降到 12G，2025-02-23 支持 LoRA 训练后降到 8G；V4 于 2025-04 发布，主要修复 V3 的金属电音问题并原生输出 48k 音频；V2Pro 与 V2ProPlus 于 2025-06-04 发布，官方描述为以接近 V2 的硬件开销取得超过 V4 的效果；V5 于 2026-10-05 起加入，wiki 称推理速度约为 V2 的 4 倍，并提供 4 步推理的 Turbo 版本。wiki 给出的选型建议是：训练素材音质一般时走 V2Pro 路线，录音棚级素材选 V4 或 V5。

自报评测分数。wiki 在 Seed-TTS 公开测试集的中文部分上给出各版本的词错误率（WER）和说话人相似度（SIM）：v2 为 0.017/0.549，v4 为 0.013/0.735，v2ProPlus 为 0.016/0.737，v5 Turbo（4 步）为 0.016/0.782，v5dev 为 0.017/0.805，作为对照的真人录音为 0.013/0.755。这些数字由项目作者用 seed-tts-eval 官方模型自己跑出。wiki 同时解释，真人录音一栏代表这套测量的精度上限：SIM 超过真人录音、WER 低于真人录音，对衡量音色相似度和稳定性都没有意义，英文版建议把超过 0.75 的 SIM 截断到 0.75 看待，并注明分数仅供参考。

完整的数据处理工具链。WebUI 里集成了训练前需要的几步：人声与伴奏分离（UVR5）、长音频自动切片、降噪、自动语音识别打标，以及人工校对标注的界面。中文 README 写明识别模型已换为 Fun-ASR-Nano、SenseVoice 与 FunASR 等多语种方案（2026-08）。

推理速度与接口。根目录英文 README 给出的 v2ProPlus 实时率（RTF，越小越快）为：RTX 4060 Ti 约 0.028，RTX 4090 约 0.014，Apple M4 的 CPU 约 0.526（英文 README 2026-10-25 版本）。除 WebUI 外，仓库附带基于 FastAPI 的 api_v2.py，默认只监听本机 127.0.0.1 的 9880 端口；2025-11-28 起支持流式输出，2026-10-18 的提交为 V5 和 V2ProPlus 加入语义流式加速。

和同类比

和托管服务 ElevenLabs 比。ElevenLabs 是按月订阅的云端服务，截至 2026-10-25 的价格页显示：免费档每月 1 万额度；Starter 每月 6 美元，含即时声音克隆和商用授权；Creator 每月 22 美元，含专业声音克隆；更高档位为 99、299、990 美元。页面同时挂着一个截止 11 月 1 日的首月折扣。ElevenLabs 不需要自备显卡，有多语言、配音、API 与商业支持；GPT-SoVITS 不收费，但要用户自己准备 NVIDIA 显卡、自己装环境、自己承担数据安全与合规。

和开源的 F5-TTS 比。F5-TTS（SWivid/F5-TTS，截至 2026-10-25 星标 15,449）同样支持零样本克隆。它的代码是 MIT，但 README 写明预训练模型因训练数据 Emilia 的授权而采用 CC-BY-NC，即官方权重不能商用，商用需要自己重新训练。GPT-SoVITS 官方底模所在的 Hugging Face 仓库 lj1995/GPT-SoVITS 标注为 MIT。

和开源的 fish-speech 比。fish-speech（截至 2026-10-25 星标 33,395）的仓库使用 Fish Audio Community License v1.0（2026-10-13 更新）：研究和非商业使用免费，年收入低于 50 万美元的个人或机构可以有限商用，以托管服务方式对外提供则需要另行取得授权。GPT-SoVITS 的根目录许可证是不附加条件的 MIT。

适合谁 / 不适合谁

适合：有 NVIDIA 显卡、想在本机做配音、有声书、游戏角色或视频旁白的个人创作者；需要离线处理、不能把声音样本上传到第三方云端的团队；以中文为主、需要中文文档和社区教程的用户（语雀手册、AutoDL 镜像、ModelScope 下载源都面向中文用户）；想基于 MIT 代码做二次开发、把 TTS 嵌进自己工具里的开发者，可以直接调用仓库里的 api_v2.py。

不适合：需要服务等级协议、发票和商业支持的企业，因为项目没有公司实体，也没有付费支持渠道；想把服务直接暴露到公网、给多人使用的场景，WebUI 默认监听所有网卡且没有登录，已知漏洞也没有修复记录；只有 Mac 的用户想做训练，README 写明 Mac GPU 训练出的模型质量明显较差，建议改用 CPU 训练；想用 pip 一行安装、当作 Python 库调用的开发者，项目没有发布到 PyPI，需要克隆整个仓库；需要稳定版本号做依赖锁定的项目，最近一个正式 Release 停在 2025-06-06。

上手路径

先在线试听。官方在 Hugging Face 上提供 v2ProPlus 的在线演示空间（lj1995/GPT-SoVITS-ProPlus），上传参考音频即可试合成，不必安装任何东西。

Windows 用户可以用整合包。README 提供一个解压即用的压缩包，双击 go-webui.bat 启动 WebUI。需要注意，截至 2026-10-25，README 里的整合包链接仍指向 2025-02-28 的 v3lora 版本，而 Release 20250606v2pro 页面正文给出了更新的 v2pro-20250604 整合包和面向 50 系显卡的单独版本的下载链接。

Linux 和 macOS 用 conda。README 的步骤是：创建 Python 3.10 环境，运行 install.sh，并用参数选择硬件（CU126、CU128、ROCM、MPS 或 CPU）和模型下载源（Hugging Face、HF 镜像或 ModelScope）。README 列出的测试环境覆盖 Python 3.9 至 3.12、PyTorch 2.2.2 至 2.8 开发版、CUDA 11.8 至 12.8。

也可以用 Docker。README 指向社区贡献者维护的镜像 xxxxrt666/gpt-sovits，截至 2026-10-25 拉取 97,685 次，最后更新于 2026-06-17；README 自己提醒镜像更新会慢于代码，想用 V5 需要自己构建。若要试 V5，README 建议克隆 cuda_graph_accel_v5 分支。

训练流程按 WebUI 的标签页顺序走：人声分离、切片、降噪、自动识别、人工校对标注，然后依次微调两个模型，最后切到推理页合成。详细图文说明见语雀上的中文手册和 rentry 上的英文指南。

定价与许可证

软件本身免费，没有付费版、订阅或云服务。使用成本主要是硬件：推理可以在消费级显卡上完成，CPU 也能运行但速度慢很多（英文 README 给出 M4 CPU 上 v2ProPlus 实时率约 0.526）。V3 微调的显存需求：首发时 14G，2025-02-12 加入梯度检查点后约 12G，2025-02-23 支持 LoRA 后约 8G；现在主推的 V2Pro 系列，wiki 只写“比 V2 显存占用稍高一点点”。

许可证。根目录 LICENSE 自 2024-01-15 的首个提交起就是 MIT（版权行为 Copyright (c) 2024 RVC-Boss），完整提交历史里这个文件从未被修改，仓库根目录也没有其他许可证文件。官方预训练模型放在 Hugging Face 仓库 lj1995/GPT-SoVITS，模型卡标注为 MIT。

仓库内还包含第三方代码及其许可证：2025-02-11 随 V3 引入的 NVIDIA BigVGAN 为 MIT，其附带的 incl_licenses 目录包含了 MIT、Apache-2.0、BSD-3-Clause 等上游许可证；2025-02-27 引入的 AP-BWE 音频超分代码为 MIT。另有几组代码只在文件头声明 Apache-2.0，仓库没有附单独的许可证文本：来自 PaddleSpeech 的中文文本前端（tone_sandhi、zh_normalization、g2pw，版权人 PaddlePaddle Authors，2024-01 起随仓库分发）；来自阿里巴巴达摩院（Alibaba DAMO Academy）3D-Speaker 的 ERes2Net 说话人模型代码（2025-06-04 引入，V2Pro 系列用它提取说话人向量）；以及 AR 模块里版权属小米的优化器与激活模块代码。二次分发时需要一并保留这些许可证文本和版权声明。

风险与局限

安全漏洞。GitHub Security Lab 于 2025-06-27 公开了 9 个漏洞（CVE-2025-49833 至 CVE-2025-49841），测试版本为 20250228v3。其中 4 个是命令注入：webui.py 里的切片、降噪、语音识别和标注入口把用户输入直接拼进 shell 命令；另外 5 个是不安全的反序列化，涉及 UVR5 分离模块、推理界面和模型权重处理代码，加载恶意构造的模型文件即可执行任意代码。NVD 记录的 CVE-2025-49833 由 GitHub 作为编号机构给出 CVSS 4.0 评分 8.9（高危）。按 issue #2194 的记录，研究者 2025-03-15 请求漏洞报告联系人，05-06 和 06-30 两次跟进，07-08 留言说未获回复已公开报告。截至 2026-10-19 的主分支提交 b4570b8，webui.py 仍以 shell=True 执行拼接命令，inference_webui.py 与 process_ckpt.py 仍显式以 weights_only=False 加载权重；UVR5 的三处加载（vr.py 两处、bsroformer.py 一处）没有显式指定 weights_only，PyTorch 文档写明自 2.6 起默认改为 weights_only=True，因此这三处的风险取决于所装版本，README 测试表里的 2.5.1、2.2.2 等旧版仍受影响。主 WebUI 和推理 WebUI 绑定 0.0.0.0，Gradio 启动时没有设置登录验证；环境变量 is_share 设为 True 时还会生成 Gradio 公网链接，更新日志说明这是为 Colab 等场景准备的。api_v2.py 的 /set_gpt_weights 和 /set_sovits_weights 接口接受任意权重路径，后端同样以 weights_only=False 加载，它默认只绑定 127.0.0.1，可用 -a 参数改为对外监听。仓库没有 SECURITY.md，GitHub 安全公告页为空。

技术层面的检测。代码里没有许可证密钥、激活或使用场景检测，任何人下载后都能完整使用全部功能。几个 Gradio 界面都设置了 analytics_enabled=False，关闭了 Gradio 自带的使用统计。WebUI 和 README 也没有提供说话人同意验证或合成音频水印之类的功能。

法律层面的界定。项目自身的许可证只有根目录的 MIT LICENSE；随仓库分发的第三方代码各有许可证。主 WebUI 与推理界面顶部都显示一段声明：“本软件以 MIT 协议开源，作者不对软件具备任何控制力，使用软件者、传播软件导出的声音者自负全责”，随后一句是“如不认可该条款，则不能使用或引用软件包内任何代码和文件，详见根目录 LICENSE”。后一句的措辞比 MIT 原文更严格，而 LICENSE 文件本身并没有这项条款。克隆他人声音还涉及声音权、肖像权和各地对深度合成内容的监管规定，这些责任按声明完全落在使用者身上。

训练数据。wiki 只给出底模训练数据的时长：v1 约 2 千小时，v2 的 SoVITS 部分共约 5 千小时（GPT 部分约 2.5 千小时），v3 起约 7 千小时，而 V5 的说明又写扩散模型用的是 5 千小时训练集。README 的待办列表则写着把训练集“从 2k 小时扩到 10k 小时”并已勾选完成，与 wiki 的数字不一致。

维护和版本。主分支 1,065 次提交里有 620 次来自 RVC-Boss 一人；800 个未关闭 issue；最近一个正式 Release 停在 2025-06-06，V5 只有分支和提交，没有版本标签。

我们的判断

GPT-SoVITS 的特点是：MIT 许可证覆盖代码和官方底模；WebUI 把数据处理、训练和推理串成一条线；有中文 README、语雀手册、AutoDL 镜像和 ModelScope 下载源；作者自测中 V5 的零样本说话人相似度为 0.782/0.805（v2ProPlus 为 0.737），wiki 同时注明超过真人录音的分数没有实际意义、仅供参考。

它的限制：2025 年公开的 9 个漏洞在 2026-10-19 的代码里仍能找到对应写法，WebUI 默认监听所有网卡且无需登录；最近一个正式 Release 停在 2025-06-06，V5 只能从分支获取；wiki 只给出底模训练数据的时长；项目没有公司实体，也没有付费支持渠道。

亮点

GPT-SoVITS 是一套声音克隆与语音合成工具：用约 5 秒参考音频就能零样本合成，用约 1 分钟数据微调，声音会更像。它分两段：GPT 部分是自回归模型，把文本和参考音频转成语义 token；SoVITS 部分是基于 VITS 的声学模型，把这些 token 合成为语音。v1、v2 和 v2Pro 里 SoVITS 端到端直接输出波形；v3 和 v4 把这一段换成扩散模型，再交给单独的声码器生成波形（v3 用开源的 BigVGANv2，v4 用作者自己训练的声码器）。整套训练和推理流程都装进了一个不懂工程的人也能操作的 WebUI。

RVC-Boss 也是变声项目 Retrieval-based-Voice-Conversion-WebUI 贡献最多的账号。GPT-SoVITS 的仓库创建于 2024 年 1 月，此后一路更新到 v3、v4 和 v2Pro，新的 V5 已在 2026 年 10 月合入主分支。

约 5 秒参考音频即可克隆声音，约 1 分钟数据即可微调，训练和推理都打包在 WebUI 里。

资料来源

官方

  1. GitHub - RVC-Boss/GPT-SoVITS: 1 min voice data can also be used to train a good TTS model! (few shot voice cloning)GitHub · 访问于 2026 年 10 月 25 日
  2. GPT-SoVITS LICENSE (MIT)GitHub · 访问于 2026 年 10 月 25 日
  3. History for LICENSE - RVC-Boss/GPT-SoVITSGitHub · 访问于 2026 年 10 月 25 日
  4. GPT-SoVITS 中文 READMEGitHub · 访问于 2026 年 10 月 25 日
  5. GPT-SoVITS 更新日志 (Changelog_CN)GitHub · 访问于 2026 年 10 月 25 日
  6. Releases - RVC-Boss/GPT-SoVITSGitHub · 访问于 2026 年 10 月 25 日
  7. Release 20250606v2pro - RVC-Boss/GPT-SoVITSGitHub · 访问于 2026 年 10 月 25 日
  8. GPT-SoVITS features (Latest, including v5) - wikiGitHub · 访问于 2026 年 10 月 25 日

动态与深度阅读