语音生成指南

AudioBuff Voice 概览

AudioBuff 的语音生成(测试版)功能，可以从 10-20 秒的参考音频中克隆说话人的声音特征，并用同样的声音朗读输入的文本。所有处理均在浏览器内完成，参考音频与生成音频都不会发送到外部服务器。

采用的模型是 Resemble AI 的 Chatterbox。其代码与权重以 MIT 许可开源发布，是一个基于超过 50 万小时干净语音训练而成、参数规模为 5 亿的 TTS 模型，与该公司的付费 API 属于同一系列。据 2025 年 Podonos 的盲测报告，听众在 63.75% 的情况下更偏好 Chatterbox 而非 ElevenLabs(参考：[GenMediaLab 盲测报告](https://www.genmedialab.com/news/chatterbox-open-source-tts-elevenlabs-alternative/))。

AudioBuff 加载的是 HuggingFace ONNX Community 发布的量化版本(总计约 1.5GB)，在 Web Worker 中通过 WebGPU/WASM 执行推理。完整的 fp32 版本约为 3.2GB，通过将 Language Model 部分量化为 Q4f16，在保持感知质量的同时将体积压缩到不足一半。

模型结构与推理流程

Chatterbox 是由 4 个 ONNX 会话组成的合成模型。AudioBuff 在 Web Worker 中并行加载这 4 个会话，并通过浏览器的 WebGPU(或 WebAssembly)执行推理。

embed_tokens

约 60MB。将输入文本 + position id + exaggeration 标量转换为 embedding 的小型层，是送入 Language Model 之前的前置阶段。

speech_encoder

约 591MB(fp32)。将参考音频转换为 192 维的说话人 x-vector 与条件表示，是决定克隆质量的最关键会话。

language_model

5 亿参数、Llama 派生结构(30 个隐藏层、16 个 KV heads)。经 Q4f16 量化后约 350MB(完整 fp32 版本约 2GB)。是根据文本与说话人条件自回归生成音频 token 的核心模块。

conditional_decoder

约 530MB(fp32)。将 Language Model 输出的音频 token 重建为 24kHz 的波形 PCM，由 Mel 解码器与训练好的声码器组成。

为什么要在浏览器中运行

2026 年是"AI 推理成本危机"显现的一年。据 AnalyticsWeek 的 2026 FinOps 报告，企业 AI 预算中有 85% 用于推理成本，主要 API 的价格在 18 个月内上涨了 30%-50%。以服务器端提供 TTS 服务的 SaaS，不得不通过按字符计费来维持盈利。

完全在浏览器中运行则彻底跳出了这一结构。由于使用的是用户自己设备的 GPU/CPU，服务提供方不产生推理成本，用户也无需为此付费。此外，由于参考音频不会发送到服务器，隐私风险也随之消失。

作为实现基础的 WebGPU 在 2025 年已在主流浏览器中完成普及：Chrome(v113 起，2023 年)、Edge、Firefox 141(2025 年 7 月，Windows)、Safari 26(2025 年 9 月，macOS Tahoe / iOS 26)。截至 2026 年，浏览器覆盖率已达约 70%，而 AudioBuff 在不支持的环境中会回退到 WebAssembly，达到实用水平。

从算力角度看，以 Chatterbox 5 亿参数的规模，无论是 M 系列 Mac 还是 RTX 4090 都足以流畅运行。在能效方面 Apple Silicon 优势明显：M3/M4 Max 功耗为 40-80W，而 RTX 4090 则消耗约 450W。"本地推理"在环境影响层面也变得更加合理。

提升参考音频质量的实用技巧

克隆质量几乎完全取决于参考音频的质量。"好模型也需要好素材"是铁律，这也是投入产出比最高的环节。

时长以 10-20 秒为宜(不足 10 秒不稳定)

在包括 Chatterbox 在内的 TTS 领域广为人知的经验法则是：不足 3 秒时说话人特征不足，3-15 秒范围内质量随时长线性提升，超过这一范围后质量趋于饱和，过长的音频甚至有可能导致模型无法正确触发 EOS token 而陷入无限生成。AudioBuff 推荐 10-20 秒的范围。

麦克风选择(200 美元以内的 USB 电容麦)

推荐型号：Rode NT-USB+(32 位浮点、内置 DSP)、Audio-Technica AT2020USB-X、Elgato Wave:3(24 位/96kHz)、Maono PM500(34mm 镀金振膜)。均为心形指向性，能自然抑制来自侧面和后方的反射声。请避免使用笔记本电脑内置麦克风。

声学处理(无需专业录音棚)

实用技巧："毛毯堡垒"(将多条搬家用毛毯叠放在墙面/地面)；"对着衣柜录音"(在衣柜内部录音会产生箱声效果，而站在衣柜外朝内部悬挂的衣物录音，衣物则能起到宽频吸音材料的作用)。家具、地毯、书架也都是天然的吸音材料。

自然的语调与节奏

避免语速过快、音量过小、耳语或夸张的情绪表达。越接近日常说话方式，效果越稳定。与其刻意打造"播音腔"，不如直接用自己平时的语气录制 20 秒效果更好。

禁忌：背景音乐、音效、多说话人、混响

一旦混入音乐，模型会将其也当作"声音特征"的一部分学习。多说话人(例如隐约混入的电视声音)同样如此。录制前请先确认周围环境。

朗读内容应贴合用途

想克隆日常对话风格就用对话式样本朗读，想用于旁白就朗读清晰的文本，想用于有声书就带感情朗读。AudioBuff 内置了 4 种示例文本，可根据用途选择朗读。

峰值与音量由 AudioBuff 自动处理

峰值归一化(目标 -3 dBFS)以及首尾静音裁剪，均由 AudioBuff 在客户端自动完成预处理。录音时只需避免爆音(clipping)即可，无需自行调整电平。

情感强度(Exaggeration)的使用方法

该滑块的范围为 0.0-1.5，用于控制在多大程度上放大参考音频中的情感。这是 Chatterbox 特有的控制方式，更接近 Classifier-Free Guidance，与 ElevenLabs 的风格提示词设计思路不同。

Resemble 官方推荐值为模型默认的 0.5，该数值在多数场景下都比较稳定。

0.0-0.3

抑扬克制、沉稳的朗读。适合技术讲解、新闻播报、文档朗读。

0.4-0.6

自然平衡，默认推荐区间。适合对话及各类旁白场景。

0.7-1.0

情感丰富。适合有声书、戏剧化朗读等场景。

1.0-1.5

夸张区间。仅在有意追求夸张效果时使用。超过 0.8 后容易进入"恐怖谷"、显得不自然。

应用场景

语音克隆是摆脱录音现场限制的强大工具。以下是一些具体的工作流示例：

统一播客的片头片尾

克隆一次自己的声音后，即可从文本生成每一期的片头片尾，无需再进录音棚，每次都能保持相同的音色和音量水平，也不会因录音环境不同而产生声音差异。

视频旁白的替换

剪辑阶段发现"这句台词说错了"时，无需重新录音，直接编辑文本即可解决。AudioBuff 生成的音频可通过"前往音频加工编辑器"按钮直接交给 EQ 和 LUFS 归一化处理，一站式完成视频配音的标准化。

无障碍应用

将屏幕阅读器等朗读软件的声音自定义为"自己的声音"。也有渐冻症(ALS)等发声障碍患者，使用健康时录制的声音继续"发声"的案例。用自己的声音进行语言学习的跟读练习也很有效。

e-learning 课程旁白

录制一门 6 小时的课程后，若日后想"只修改这一句"，通过编辑文本即可完成，无需重新预约录音棚或重新录制。

独立游戏角色配音

仅用一段参考音频，配合调整 exaggeration 滑块，即可区分多个角色。对没有预算聘请专业配音演员的开发者而言，是从原型到正式版本都可使用的选择。

水印与负责任的使用

生成的音频默认嵌入名为 Resemble Perth 的不可闻水印，AudioBuff 未提供关闭方式。这是一种即使经过 MP3 压缩或重采样仍可检测的神经网络水印，因此事后可以从技术上确认"这是 AI 合成音频"。

关于合成语音的披露义务，全球范围内的立法正在推进(欧盟 AI 法案第 50 条、美国 ELVIS 法案，以及各平台政策)。作为分发者，需要牢记的只有两点——①已获得使用被克隆声音的授权；②已披露该内容为 AI 合成音频(通常使用发布平台自带的标准功能即可满足，例如 YouTube 的"经过修改或合成的内容"标签)。

隐私模型

AudioBuff Voice 最大的特点是完全在浏览器内运行。与商业 SaaS(如 ElevenLabs、Resemble 的付费 API)不同，参考音频与生成音频都不会发送到 AudioBuff 或 Resemble 的服务器。

只有模型文件会在首次使用时从 Hugging Face CDN 下载，一旦缓存完成，之后即可离线使用，和常见的离线 PWA 一样，飞行模式下也能生成语音。

保存在浏览器中的数据

Cache API：模型文件(约 1.5GB)；localStorage：伦理同意标记("1" 或不存在)。

不会被发送的数据

参考音频、输入文本、生成音频、情感强度数值，以及其他生成参数。

用户可自行删除

应用内的"清除缓存"按钮可一键清空 Cache API。localStorage 可通过浏览器设置清除。

如实说明的局限与不擅长之处

这些内容在宣传资料中通常不会提及，但为了建立正确的预期，有必要如实说明：

不擅长歌唱、嘶吼、极端年龄的声音

Chatterbox 学习的是"富有表现力的说话语音"，歌唱、呐喊、婴儿声、80 岁老人的声音等均超出其覆盖范围。社区中也有 [laugh]、[cough] 等副语言标签的报告，但触发概率并不稳定。

高 exaggeration 下的恐怖谷效应

超过 0.8 后情感表现会趋于卡通化、过度夸张，"AI 感"会强于真人声音的感觉。最佳区间是 0.4-0.6。

5 年以上的老旧硬件推理较慢

仅有集成显卡的 5 年前笔记本电脑等设备，可能无法使用 WebGPU 而回退到 WASM，生成 20 秒音频可能需要数分钟。推荐使用 M 系列 Mac、Snapdragon X，或 RTX/Radeon 级别的独立显卡。

目前仅支持英语(多语言版本移植中)

AudioBuff Voice 目前使用的是 Chatterbox 的英语版本。Resemble 已于 2025 年 12 月发布支持 23 种语言的 Chatterbox Multilingual，待其完成 Transformers.js 移植后，AudioBuff 也将引入该版本。