人人皆可创作音乐！腾讯AI Lab开源音乐生成大模型SongGeneration|AI|腾讯_新浪科技_新浪网
新浪首页
新闻
体育
财经
娱乐
科技
博客
图片
专栏
更多
标签添加-->
汽车
教育
时尚
女性
星座
健康
房产
历史
视频
收藏
育儿
读书
佛学
游戏
旅游
邮箱
导航
移动客户端
新浪微博
新浪新闻
新浪财经
新浪体育
新浪众测
新浪博客
新浪视频
新浪游戏
天气通
我的收藏
注册
登录
新浪科技
><br/> 滚动新闻 <br/>><br/> 正文
人人皆可创作音乐！腾讯AI Lab开源音乐生成大模型SongGeneration
人人皆可创作音乐！腾讯AI Lab开源音乐生成大模型SongGeneration
2025年06月20日 08:58
机器之心Pro
新浪财经APP
缩小字体
放大字体
收藏
微博
微信
分享
腾讯QQ
QQ空间
6 月 16 日，腾讯 AI Lab 推出并开源 SongGeneration 音乐生成大模型，专注解决音乐 AIGC 中
音质、音乐性与生成速度
这三大共性难题，基于 LLM-DiT 的融合架构，模型在保持
生成速度
的同时，显著提升了
音质表现
，生成歌曲的准确度相较部分商业闭源模型表现出相当甚至更优的质量，同时在
整体表现、旋律、伴奏、音质与结构
等维度也优于现有多数开源模型。
此外，SongGeneration 模型还支持
文本控制、多轨合成
与
风格跟随
等功能，既满足面向 C 端创作者的可玩性，又兼具 B 端的稳定性与拓展性，构建出面向未来的音乐 AI 生产力工具。
图 1 商业模型主观评测结果
图 2 开源模型主观评测结果
相较于传统基于规则或小型模型的方式，基于大模型的音乐生成模型在旋律的长程连贯性、潜在风格迁移能力以及音色建模的表达维度上，展现出更强的泛化能力和生成潜力。AI 音乐创作正从过去的 “辅助工具” 迈向 “智能共创” 的新阶段，被广泛应用于短视频配乐、游戏音效、虚拟人演出、商业广告以及个人音乐创作等场景。
当前主流音乐生成大模型虽已初步实现 “文本到音乐” 的生成能力，但仍面临一系列关键瓶颈。在此背景下，腾讯 AI Lab 推出 SongGeneration 音乐生成大模型，
专注解决音质、音乐性与生成速度
这三大共性难题
。
SongGeneration 预期目标分为技术与应用两个层面：在技术层面，致力于实现业内领先的音质表现、音乐性与生成速度，
支持多语种歌词输入、一键式歌曲生成、风格迁移等任务
，全面适配中英文流行、嘻哈、古风、电子等多样化曲风；在应用层面，推出
面向开源社区的友好版本，广泛赋能内容创作平台、虚拟人项目、游戏厂商以及音乐人创作流程
，构建开放、灵活、可持续的音乐 AI 生态系统。SongGeneration 音乐大模型的推出不仅代表着技术能力的跃升，更是对 “人人皆可创作” 这一音乐未来愿景的坚实回应与有力推动。
一、模型性能及效果展示
SongGeneration 已支持多项核心功能，均可在开源版本中方便调用。这些功能不仅在操作上简洁直观，更在生成过程中提供了高度的可控性，使用户得以在 “AI 辅助创作” 中真正拥有主导权。以下是其
主要功能概览：
文本控制：
用户仅需输入关键词文本（如 “开心 流行”、“激烈 摇滚”）即可实现风格与情绪控制，SongGeneration 会基于输入文本生成高质量的完整音乐作品。
风格跟随：
用户可自行上传 10 秒以上的参考音频，SongGeneration 会自动生成风格一致的全长新曲，覆盖流行、摇滚、中国风、“神曲” 等多种流派。生成歌曲在保持风格一致性的同时，拥有较好的音乐性表现。
多轨生成：
SongGeneration 能够自动生成分离的人声与伴奏轨道，同时保证旋律、结构、节奏与配器的高度匹配。
音色跟随：
SongGeneration 支持基于参考音频的音色跟随功能，生成歌曲具备 “音色克隆” 级别的人声表现，听感自然、音质出众的同时，兼具卓越的情感表现力。
二、技术方案
SongGeneration 训练架构包含数据管线和生成模型两部分。首先 SongGeneration 搭建了一套包含了音伴分离、结构分析、歌词识别等模块的音乐数据管线，通过管线可以从原始音频中得到准确的歌词数据，同时获得结构、曲风、音质等标签数据，然后把这些数据送入到生成模型中进行训练。
图 3 SongGeneration 训练架构
训练得到的生成模型 SongGeneration，总参数量仅为 3B 左右，随后在海量中英文歌曲上进行了预训练。如图所示，它由 codec、LM、FM、VAE 等部分组成，每个模块都是单独训练的。其中 codec 和 LM 在模型中起着举足轻重的作用。
Music Codec，模型参数约为 1B，用于对音乐进行编解码，能以超低比特率将 48kHz 的双通道音乐压缩成 25Hz 的离散表征，并实现高保真的还原。
Music LM，模型参数约为 2B，用于根据用户指令（歌词，文本描述，音频提示）生成完整的歌曲。
基于这两个组件，SongGeneration 可以高效地根据用户指令生成 48kHz 采样率的音乐。
图 4 SongGeneration 模型架构
三、技术创新点
这一节中主要介绍 SongGeneration 的实现细节，以及在以下四大领域内突破性的技术创新。
1、低比特率音乐编解码
Token 作为音乐生成系统的核心桥梁，不仅承担着语言模型的预测目标，还直接决定了高质量双通道音乐的还原效果。鉴于语言模型在长序列预测过程中容易产生幻觉现象，并且预测误差会随序列长度的增加而累积，因此，编解码器的设计需在保证音乐信息高质量重建的前提下，尽可能降低码率和比特率，从而减轻语言模型的预测难度，并提升音乐还原的整体质量。
音乐生成中的编解码一直是业界公认的难题，主要体现在以下几个方面：
复杂的成分结构
：与仅包含人声的语音不同，音乐融合了丰富的背景伴奏与人声，两者之间存在复杂的相互作用和和谐关系。相比只需关注单一声学特征的语音或声学事件，音乐的多元成分使得建模难度大大提升。
庞大的数据量
：高品质音乐通常为 44.1kHz 或 48kHz 的双通道格式，而传统语音仅为 16kHz 单通道。以 4 分钟的完整歌曲为例，48kHz 双通道音乐的数据量几乎是 16kHz 单通道语音的 6 倍。以常见的 75Hz 编码器为例，其编码整首歌曲的长度高达 153,600，这极大增加了语言模型的建模压力，直接影响音乐生成的效果。
声学与语义的双重桥接
：与传统音频编解码不同，音乐生成的编解码不仅要保留足够的声学特征以实现高质量还原，还需包含丰富的语义信息以便语言模型准确预测。单一关注声学或语义特征都难以满足音乐生成的复杂需求。
针对上述挑战，SongGeneration 创新性地提出了业内开源模型中最低比特率、最低码率的双通道 48kHz 高质量音乐编解码器。SongGeneration 的音频编解码器实现了在仅 25Hz 的极低码率和 0.35kbps 的超低比特率下能够达到目前最好的音乐重建效果，极大减轻了语言模型的建模负担，为高质量音乐生成提供了坚实基础。
此外，为了更精准地建模人声与伴奏的关系，SongGeneration 设计了两种创新的编码模式：混合轨道和双轨道。混合轨道模式将人声和伴奏进行统一建模，整体编码音乐信息，确保人声与伴奏的和谐与连贯；而双轨道模式则将人声与背景音乐分别独立建模编码，使两者的细节表现更加清晰，使得重建更高质量的音乐。
2、多类别 token 并行预测
在 SongGeneratio
成为付费用户可以阅读 腾讯AI 所有资料
了解更多 →