ACE-Step音乐生成整合包,支持批量生成,支持50系列显卡
ACE-Step的主要功能[*]快速合成:在短时间内生成高质量的音乐,例如在 A100 GPU 上生成 4 分钟的音乐仅需 20 秒。
[*]多样化风格:支持多种主流音乐风格(如流行、摇滚、电子、爵士等)和多种语言的歌词生成。
[*]变体生成:调整噪声比例生成不同变体,提供多样化的音乐选择。
[*]重绘功能:对特定部分重新生成,修改风格、歌词或人声,保留其他元素。
[*]歌词编辑:支持对生成的音乐进行局部歌词修改,同时保持旋律和伴奏不变。
[*]多语言支持::支持 19 种语言,其中英语、中文、俄语、西班牙语、日语等 10 种语言表现尤为出色。
[*]Lyric2Vocal:基于 LoRA 微调直接从歌词生成人声音频。
[*]Text2Samples:生成音乐样本和循环,帮助制作人快速创建乐器循环、音效等。
用户界面指南
ACE-Step 界面为不同的音乐生成和编辑任务提供了几个选项卡:
📝 Text2Music 选项卡
📋 输入字段:
🏷️ 标签:输入描述性标签、流派或场景描述,以逗号分隔
📜 歌词:输入带有结构标签的歌词,如 、 和
⏱️ Audio Duration:设置生成音频的所需持续时间(-1 表示随机)
⚙️ 设置:
🔧 基本设置:调整推理步骤、引导比例和种子
🔬 高级设置:微调调度程序类型、CFG 类型、ERG 设置等
🚀 生成:单击“生成”以根据您的输入创建音乐
🔄 “重拍”选项卡
[*]🎲 使用不同的种子重新生成具有细微变化的音乐
[*]🎚️ 调整方差以控制重拍与原始数据的差异程度
🎨 Repainting 选项卡
[*]🖌️ 选择性地重新生成音乐的特定部分
[*]⏱️ 指定要重绘的截面的开始和结束时间
[*]🔍 选择源音频(text2music 输出、上次重绘或上传)
✏️ Edit (编辑) 选项卡
[*]🔄 通过更改标签或歌词来修改现有音乐
[*]🎛️ 在 “only_lyrics” 模式(保留旋律)或 “混音” 模式(改变旋律)之间进行选择
[*]🎚️ 调整编辑参数以控制保留原始图像的量
📏 “扩展”选项卡
[*]➕ 将音乐添加到现有乐曲的开头或结尾
[*]📐 指定左和右延伸长度
[*]🔍 选择要扩展的源音频
ACE-Step的技术原理
[*]扩散模型(Diffusion Model):基于逐步去除噪声生成数据。模型能快速合成音乐,传统扩散模型在长结构连贯性上存在不足。ACE-Step 基于创新的架构设计解决这一问题。
[*]深度压缩自编码器:DCAE 用在高效的数据压缩和解压缩,保留音乐的细粒度音频细节,减少计算资源的消耗。
[*]轻量级线性变换器:用在处理音乐的序列信息,确保生成的音乐在旋律、和声和节奏上具有连贯性。
[*]语义对齐:ACE-Step 用 MERT(Music Embedding Representation)和 m-hubert 技术,在训练过程中对齐语义表示(REPA),实现快速收敛和高质量的生成效果。
[*]训练优化:基于训练时的语义对齐和优化技术,ACE-Step 能在短时间内生成高质量的音乐,保持生成速度和连贯性之间的平衡。
ACE-Step音乐生成解压即用整合包下载地址(支持批量生成,支持50系列显卡)
链接:https://pan.quark.cn/s/8b8c0edb1110
这个免费的啊?
页:
[1]