|
|
新版 DeepFaceLab PyTorch 训练器高级教程
欢迎来到新一代 DeepFaceLab (DFL) 工作流程！本教程基于 JesterX 开发的 PyTorch
Trainer，它被视为 DFL 的一次进化。本指南将详细拆解其从准备到训练，再到导出
DFM 模型进行实时换脸的全过程。
核心优势： 与传统 DFL 不同，PyTorch Trainer 允许在训练过程中动态修改绝大多数参数
，无需频繁中断和重启，极大地提升了训练效率和灵活性。
一、 准备工作：软件与素材
在开始之前，请确保您的环境和素材准备就绪。
1. 硬件与软件要求
● 显卡 (GPU): 仅支持 NVIDIA 显卡，推荐 RTX 3000 系列或更新型号。不支持 AMD
显卡。8GB 显存是最低门槛，12GB 或以上更佳。
● 软件 (重要):
1. PyTorch Trainer Build: 本教程的核心训练程序。
2. DeepFaceLab (RTX 5000 更新版): 一个与新显卡驱动兼容的 DFL 版本，主要
用于素材预处理（如解包脸部集）。
3. DeepFaceLive (DirectX12 修改版): 由社区用户 WorldX 修改，用于测试最终生
成的 DFM 模型，特别是高分辨率模型。
4. 预训练模型文件 (Pre-trained Model): 例如教程中提到的 UDT224，这是一个已
经过大量迭代的 224px 模型，可以极大缩短您的训练时间。
5. 脸部素材集 (Facesets): 源人物 (Source) 和目标人物 (Destination) 的脸部图
片。
2. 素材预处理：解包脸部集
PyTorch Trainer 无法直接使用 .fsp 格式的脸部压缩包。您必须先使用 DeepFaceLab 将
其解压为零散的图片文件。
1. 将 .fsp 脸部文件（例如 keanu_reaves.fsp）放入 DeepFaceLab 的 workspace 文件
夹。
2. 运行 data_src faceset unpack.bat 或 data_dst faceset unpack.bat。
3. 解压后，您会得到一个包含数千张 .jpg 或 .png 图片的文件夹。这个文件夹才是我们
接下来要用的。
二、PyTorch Trainer 核心训练流程
这是本教程的重点。请仔细遵循以下步骤。
第 1 步：设置 PyTorch 工作区
1. 打开 PyTorch Trainer 的 workspace 文件夹。
2. 源 (Source): 将解压好的源人物脸部图片文件夹整体放入，并重命名为 data_src。
3. 目标 (Destination): 将目标脸部集（例如 male_rtm）放入，并重命名为 data_dst。
4. 模型 (Model): 将下载的预训练模型文件夹（包含 inter_A.npy, inter_B.npy,
encoder.npy, decoder.npy 等文件）放入，并重命名为 model。
第 2 步：生成并编辑配置文件
1. 在 PyTorch Trainer 根目录，运行 export SA...HD config.bat (根据你的模型类型选择
，教程中使用 SAEHD)。
2. 该操作会在 workspace/model 文件夹内生成一个 SAEHD_config.yml 文件。这是一
个文本配置文件。
3. 用记事本打开 .yml 文件，进行初始参数设置。这比在命令行中一步步选择要方便得
多。
○ batch_size: 根据显存大小设置。8GB 显存建议为 4，12GB 或以上可尝试 8。
○ eye_mouth_priority: true (开启眼部和嘴部优先训练)。
○ blur_out_mask: true (模糊遮罩边缘)。
○ uniform_yaw: true (均匀化侧脸角度的训练)。
○ learning_rate: 保持默认 5.0e-05。
○ random_warp: true (开启随机扭曲，增加泛化能力)。
○ dst_flip: true (随机水平翻转目标脸，增加数据量)。
○ color_augmentation: true (开启色彩增强)。
○ gan_...: 所有 GAN 相关选项保持 false (关闭)。
4. 保存并关闭 .yml 文件。
第 3 步：开始训练 (Pre-GAN 阶段)
1. 运行 train SAEHD.bat。
2. 首次运行 - 缓存图像: 程序会先将 data_src 和 data_dst 的所有图片进行缓存，生成
.pkl 文件。这个过程根据图片数量和分辨率可能需要几分钟到数小时不等，请耐心等
待。
3. 进入训练界面: 缓存完毕后，训练正式开始。命令行窗口会显示一个本地网址 (如
http://localhost:8080)。
4. 按住 Ctrl 并单击该链接，会在您的浏览器中打开训练监控面板。
第 4 步：动态调参 (On-the-fly)
这是 PyTorch Trainer 最强大的功能。您需要根据 Loss 值的变化，在不停止训练的情况
下，依次调整参数。
监控面板解读:
● 预览图: 直观展示当前训练效果。
● Loss 值: 衡量模型拟合程度的关键指标，数值越低越好。
● 设置 (Settings) 区域: 可以在这里动态修改 .yml 文件中的大部分参数。
调参顺序 (非常重要):
1. 初始阶段: 使用第 2 步设置好的参数进行训练。观察 Loss 值，直到它下降得非常缓
慢，几乎不再变化（进入“平台期”）。
2. 关闭眼嘴优先: 在设置区找到 eye_mouth_priority，将其关闭 (设为 false)，然后点击
Update。Loss 值会暂时计算方式改变，然后会继续下降。等待其再次进入平台期。
3. 关闭随机扭曲: 找到 random_warp，将其关闭，点击 Update。等待 Loss 值再次进
入平台期。
4. 降低学习率: 找到 learning_rate，将其从 5e-05 改为 3e-05 或更低，点击 Update。
这将帮助模型进行更精细的微调。等待 Loss 值再次进入平台-期。
5. 开启学习率衰减: 将 learning_rate 恢复为 5e-05，同时找到 learning_rate_dropout
并开启它 (true)，点击 Update。这是进入 GAN 阶段前的最后一步预训练。
第 5 步：GAN 训练阶段
当 Pre-GAN 阶段的 Loss 值已经无法再降低，模型看起来已经相当不错但略显“平滑”或
“蜡像感”时，就该启动 GAN (生成对抗网络) 来增加皮肤细节和真实感了。
1. 停止训练: 在浏览器监控页面点击 Exit 按钮，或关闭命令行窗口。
2. 修改配置开启 GAN: 再次打开 .yml 配置文件。
○ 将 gan_enable 设置为 true。
○ 调整 gan_patch_size 和 gan_dims (例如都设为 64)。
○ 设置 gan_power (例如 0.1)。
○ 关闭色彩增强: 将 color_augmentation 设置为 false。
3. 重启训练: 再次运行 train SAEHD.bat。训练会继续，但速度会变慢。
4. 冻结编码器 (Freeze Encoder): 在浏览器监控面板的设置区，找到
freeze_encoder_layers，将所有层级（1到7）全部勾选并 Update。这一步是为了锁
定源脸部特征，防止在 GAN 训练中被破坏。
5. 监控 TensorBoard:
○ 在监控面板首页，点击 TensorBoard 链接打开一个新的监控页面。
○ 关键指标: 关注 loss_discriminator 和 loss_generator 这两个值。
○ 目标: 理想状态下，这两个值需要尽可能地接近 2.5 并保持平衡。
○ 调整方法: 如果数值失衡，回到训练设置页面，通过微调 gan_smoothing 参数来
控制它们。这是确保 GAN 训练不“崩溃”的关键。
三、导出与测试
当 GAN 训练一段时间后（通常几小时），您会从预览图中看到皮肤细节（如毛孔、微小
的凹凸感）开始出现，此时就可以导出模型进行测试了。
第 1 步：导出 DFM 模型
1. 在浏览器监控面板中，直接点击 Export DFM 按钮。
2. 程序会自动将当前模型状态导出。您可以在命令行窗口看到导出进度。
3. 导出的文件位于 workspace/model/DFLive 文件夹内，通常会以迭代次数命名。
第 2 步：在 DeepFaceLive 中测试
1. 将上一步导出的整个文件夹（例如 1234567_iterations）复制到修改版
DeepFaceLive 的 userdata/dfm_models 文件夹内。
2. 启动 DeepFaceLive。
3. 在模型选择列表中，您应该能看到刚刚制作的 DFM 模型。
4. 选择模型，并将其应用到视频文件或摄像头上，检查最终效果。
四、常见问题与技巧 (FAQ)
● 如何开始一个新项目？
为了不混淆文件，建议在 PyTorch Trainer 文件夹外为每个项目创建一个备份文件夹
（如 Keanu_Reeves_Project）。完成一个项目后，将 workspace 里的 data_src,
data_dst, model 这三个文件夹剪切到您的项目备份文件夹中。然后就可以在
workspace 里放入新的素材开始新项目了。
● 免费版有什么限制？
免费版的 PyTorch Trainer 最高支持 448px 分辨率的模型训练。更高分辨率需要购买
付费版。
● 为什么我的训练速度很慢？
○ 检查 batch_size 是否设置过高。
○ 开启 GAN 后训练速度下降是正常现象。
○ 确保您的 GPU 驱动是最新版本。
● 为什么不能重命名 PyTorch build 文件夹？
程序内部的路径依赖导致其必须在名为 PyTorch_build（或其原始名称）的文件夹中
运行，否则会出错。
本教程涵盖了 PyTorch Trainer 的核心使用方法。祝您创作顺利！ |
|
窥视卡
雷达卡
发表于 2025-5-9 11:53:24
照妖镜
发表于