概览
AudioCraft 把音频生成与相关模型组件集中在一个代码库中。MusicGen 面向音乐生成，AudioGen 面向声音生成，EnCodec 负责神经音频编码；仓库还包含其他生成、解码和水印研究组件。选用时先明确希望得到的是音乐、环境音、压缩表示还是某项训练实验。 对需要探索声音创意的研究者而言，一个清晰的入门任务是用短提示词生成短片段，再逐项比较节奏、乐器、结构与听感。把提示词、模型名称、时长和生成参数一起保存，能够让多次尝试形成可比较的实验记录。
主要功能
- MusicGen 提供文本到音乐及对应模型支持的旋律条件生成。
- AudioGen 用于文本描述驱动的声音生成。
- EnCodec 提供神经音频编码与解码相关组件。
- 包含模型推理接口、Notebook 和任务对应的训练配置。
- 支持设置生成时长、模型与音频输出参数。
- 提供模型缓存目录配置，便于管理不同实验使用的权重。
要求、安装和快速入门
先按仓库要求建立 Python 3.9 与 PyTorch 2.1.0 环境，再安装 AudioCraft；使用源码训练时，在仓库目录采用可编辑安装。准备 ffmpeg，用于常见音频文件处理。
从 MusicGen 的较小模型和短片段开始，确认权重可以下载、显卡可以被 PyTorch 识别、音频文件能够写出。官方 MusicGen 文档给出了显存与模型规模说明，可据此决定一次生成的时长和数量。不同任务分别查看对应模型文档。
从 MusicGen 的较小模型和短片段开始，确认权重可以下载、显卡可以被 PyTorch 识别、音频文件能够写出。官方 MusicGen 文档给出了显存与模型规模说明，可据此决定一次生成的时长和数量。不同任务分别查看对应模型文档。
用法
实践案例：比较三种背景音乐方向。
1. 写出同一个场景的三种音乐描述，例如轻快木吉他、缓慢钢琴和简洁电子节拍，固定片段时长。
2. 选择同一个 MusicGen 模型，记录采样参数，先逐条生成短片段。
3. 以相同播放音量听取结果，记录乐器是否符合描述、节奏是否稳定、开头和结尾是否适合剪辑。
4. 每次只修改一个条件，例如速度描述或乐器组合，便于判断改变来自哪里。
5. 把选中的片段导出，再在音频编辑器中调整衔接与音量。
6. 为结果保存提示词、模型检查点、参数和人工备注，建立能够回看的素材清单。
使用旋律条件时，选择支持该输入方式的模型，并按示例准备音频采样率和张量形状。
工作原理
以 MusicGen 为例，系统在音频编码表示上进行条件生成，再把生成的音频表示解码为波形。文字描述和所选模型支持的音频条件用于引导生成。AudioCraft 将模型、编码器、数据处理和训练配置分成组件，使研究者可以围绕明确任务替换和观察其中一部分。
适合谁使用
音频生成研究人员、具备 PyTorch 经验的开发者，以及希望建立音乐或声音实验流程的技术团队。
环境与输入
与项目要求匹配的 Python、PyTorch、音频依赖和 GPU 环境。准备模型下载空间；显存需求随模型、生成时长和批量大小变化。
具体使用场景
• 声音实验：比较提示词、模型和生成参数对短片段的影响。
• 研究原型：把音乐或环境音生成能力封装成可交互的演示。
• 音频技术学习：阅读编码、生成和训练组件，理解不同环节的数据表示。
实施要点
音乐生成、语音合成和语音识别属于不同任务，选型时分别查看所需模型。较长片段会增加计算和存储需求。涉及条件音频时，确认输入格式、采样率和对应模型接口一致。
常见问题
问：应该从哪个模型开始？
可以从 MusicGen 小模型与较短片段开始，先验证输入、输出和资源配置，再扩大实验。
问：它与语音朗读工具有什么区别？
AudioCraft 的主要方向是音乐、声音生成和音频研究；明确文本朗读任务可另行比较语音合成项目。
关联项目与搭配思路
2noise/ChatTTS：用于比较对话语音合成与音乐生成的任务差异，按最终输出类型选工具。
gradio-app/gradio：可以为提示词输入和音频试听制作界面，模型加载、任务队列和输出文件由后端函数管理。
1. 写出同一个场景的三种音乐描述，例如轻快木吉他、缓慢钢琴和简洁电子节拍，固定片段时长。
2. 选择同一个 MusicGen 模型，记录采样参数，先逐条生成短片段。
3. 以相同播放音量听取结果，记录乐器是否符合描述、节奏是否稳定、开头和结尾是否适合剪辑。
4. 每次只修改一个条件，例如速度描述或乐器组合，便于判断改变来自哪里。
5. 把选中的片段导出，再在音频编辑器中调整衔接与音量。
6. 为结果保存提示词、模型检查点、参数和人工备注，建立能够回看的素材清单。
使用旋律条件时，选择支持该输入方式的模型，并按示例准备音频采样率和张量形状。
工作原理
以 MusicGen 为例，系统在音频编码表示上进行条件生成，再把生成的音频表示解码为波形。文字描述和所选模型支持的音频条件用于引导生成。AudioCraft 将模型、编码器、数据处理和训练配置分成组件，使研究者可以围绕明确任务替换和观察其中一部分。
适合谁使用
音频生成研究人员、具备 PyTorch 经验的开发者，以及希望建立音乐或声音实验流程的技术团队。
环境与输入
与项目要求匹配的 Python、PyTorch、音频依赖和 GPU 环境。准备模型下载空间；显存需求随模型、生成时长和批量大小变化。
具体使用场景
• 声音实验：比较提示词、模型和生成参数对短片段的影响。
• 研究原型：把音乐或环境音生成能力封装成可交互的演示。
• 音频技术学习：阅读编码、生成和训练组件，理解不同环节的数据表示。
实施要点
音乐生成、语音合成和语音识别属于不同任务，选型时分别查看所需模型。较长片段会增加计算和存储需求。涉及条件音频时，确认输入格式、采样率和对应模型接口一致。
常见问题
问：应该从哪个模型开始？
可以从 MusicGen 小模型与较短片段开始，先验证输入、输出和资源配置，再扩大实验。
问：它与语音朗读工具有什么区别？
AudioCraft 的主要方向是音乐、声音生成和音频研究；明确文本朗读任务可另行比较语音合成项目。
关联项目与搭配思路
2noise/ChatTTS：用于比较对话语音合成与音乐生成的任务差异，按最终输出类型选工具。
gradio-app/gradio：可以为提示词输入和音频试听制作界面，模型加载、任务队列和输出文件由后端函数管理。
模型兼容性与使用场景
每个生成接口对应明确的模型族和条件输入。MusicGen 的文本模型、旋律模型及其他音频模型应按照各自文档加载，训练配置也应与检查点及数据格式匹配。
许可证与风险说明
仓库代码采用 MIT 许可证；发布模型权重采用 CC-BY-NC 4.0，包含非商业使用条件。选择应用方式时分别查看 LICENSE 和 LICENSE_weights。