AIBL论坛

 找回密码
 立即注册
本论坛所有软件旨在帮助用户创建逼真且有趣的内容,帮助做自媒体的人制作原创有趣的视频或广告,如果使用别人的肖像,使用之前需获得同意和许可(建议使用AI生成的人脸),严禁使用本论坛发布的资源用于不符合当地法律法规的事情,如发现用于不正规用途,一律删号处理
查看: 7404|回复: 26

DeepFaceLab 2.0 中文详细使用教程

[复制链接]
发表于 2023-12-12 11:44:50 | 显示全部楼层 |阅读模式
DeepFaceLab 2.0 教程指南
如果您想知道如何制作 Deepfake,那么您来对地方了!本 DeepFaceLab 指南将作为参考和涵盖整个过程的分步教程。DeepFaceLab 可用于各种应用,从娱乐和专业制作到定制实施和深度学习研究。通过遵循本文档中列出的步骤和建议,您将能够使用 PC 或云计算平台创建最先进的 Deepfakes。

什么是 DeepFaceLab?
DeepFaceLab (DFL) 是领先的 Deepfake 创建软件。大多数高质量的 Deepfake 都是使用 DeepFaceLab 制作的。DFL 提供了用于创建 Deepfakes 的端到端解决方案,从数据收集和管理到模型训练和最终视频输出。

Deepfake 流程概述
典型的深度伪造从 2 个视频开始:源视频和目标视频。源视频包含deepfake的脸部;放入视频中的假人。目的地是您想要将 Deepfake 人脸放入其中的视频;你想要用 Deepfake 替换的脸。首先,每个视频的各个帧被转换为图像序列。然后 DeepFaceLab 可以检测每个图像中的面部,并为每个面部创建一个嵌入重要元数据的单独文件。然后通过删除错误检测和其他不需要的面孔来清理这些图像集合(面孔集)。接下来,DeepFaceLab 将训练一个神经网络,根据提供的图像来学习新的 Deepfake 脸部。之后,将深度伪造的脸部应用于原始目标图像,并最终转换回视频。

是什么造就了一个好的 Deepfake?
从技术上讲,DeepFaceLab 可以仅用几张图像创建深度伪造品。然而,最好的结果将来自使用具有不同面部表情和照明条件的各种高质量源图像。此外,源脸和目标脸应具有相似形状的头部和下巴线,以便最终的构图更加令人信服。此外,源图像应具有一致的特征(例如面部毛发和化妆),应取自较短的年龄范围(几年内),并且应与目标面部具有一些相似之处。源面部与目标面部越相似,深度伪造效果就越好。从长远来看,一开始花更多时间准备数据将会带来巨大回报

Human_Head_Angles_Diagram.png

创建 Deepfake 必须采取许多步骤,包括几个训练阶段和数十个输入选项。虽然本指南可以建议遵循的流程,但每个项目都是不同的,随着时间的推移,您将对软件有更深入的了解并制定自己的流程。与任何其他创意工具一样,通过练习,您将能够更好地使用 DeepFaceLab。请随意测试这些选项,看看它们对您自己有什么作用,并留出一些时间来进行实验和探索新功能。
DeepFaceLab 还可以与其他图像和视频处理软件配合使用。图像增强工具、编辑和效果处理以及音频操作都有助于获得更真实的结果。

DeepFaceLab 术语
为了阅读本指南并使用 DeepFaceLab,您应该首先熟悉一些基本术语。
DeepFaceLab提供了一套工作流程,形成了灵活的管道。在DeepFaceLab(简称DFL)中,我们可以将管道抽象为三个阶段:提取、训练和转换。这三个部分依次呈现。此外,值得注意的是,DFL属于典型的一对一换脸范式,这意味着只有两种数据:src和dst(源和目标缩写),在下面的叙述中使用。

TermDescription   描述
DFLAbbreviation for DeepFaceLabDeepFaceLab 的缩写
BuildBundled DeepFaceLab software (e.g. RTX 3000 series build)捆绑的 DeepFaceLab 软件(例如 RTX 3000 系列版本)
ReleaseThe date the build or code was released版本或代码的发布日期
WorkspaceThe /workspace folder where all the images, videos, and other important files are stored.工作空间        /workspace 文件夹,用于存储所有图像、视频和模型的重要文件夹
Source (SRC)The input data as video or images
The face that will be placed in the final video or images
源人脸,作为视频或图像的输入数据,将放置在最终视频或图像中的人脸
Destination (DST)The intended output video or images
The face that will be replaced by the deepfake
目标人脸,将被 Deepfake 替换的人脸
Predicted (PRD)The actual deepfake face that is created创建的实际深度伪造面孔
ExtractionProcess of creating a subset of images from other images or videos从其他图像或视频创建图像子集的过程
LandmarksPoints that define facial features such as eyes, mouth, nose, and jawline定义面部特征的点,例如眼睛、嘴巴、鼻子和下颌线
AlignmentProcess of detecting faces and embedding face landmarks as image metadata检测人脸并将人脸特征点嵌入为图像元数据的过程
FrameImage extracted from a video file
May also refer to any photo or image sequence
从视频文件中提取的图像,也可能指任何照片或图像序列
FacesetA set of aligned faces extracted from images从图像中提取的一组对齐的面孔
ModelThe settings and files that define the deepfake neural network定义 Deepfake 神经网络的设置和文件
TrainingThe process of allowing the neural network to learn a predicted face based on input data让神经网络根据输入数据学习预测脸部的过程
MergingThe process of creating images from the trained model
Also converting images and destination sound to a video file
从训练好的模型创建图像的过程,还将图像和目标声音转换为视频文件
Merged ImageThe frames created by the merging process合并图像        合并过程创建的帧
Result VideoThe final deepfake video from merged images and sound.结果视频        合并图像和声音的最终深度伪造视频。


下载并安装 DeepFaceLab 2.0

链接:https://pan.baidu.com/s/1DBnKY53ubZol6VkWehuRIw
提取码:bmkj


使用哪个 DeepFaceLab 版本
DeepFaceLab 可以与独立 GPU、iGPU 或 CPU 作为主要设备一起使用。有多种版本(版本)可供选择,具体取决于您的系统硬件。随着软件的开发,可用的版本及其要求可能会发生变化。

DeepFaceLab 构建描述和要求
DeepFaceLab NVIDIA RTX 3000 系列构建支持(并需要)NVIDIA RTX 3000 系列 GPU 或更高版本(即 4000、5000、6000 等)
DeepFaceLab NVIDIA 最高可达 RTX 2080 TI 版本英伟达10、20系列,支持 CUDA 3.5 及更高版本的 NVIDIA GPU。
DeepFaceLab Direct X 12 构建与在 Windows 上运行的具有 Direct X 12 的 AMD、Intel 和 NVIDIA 设备一起使用
支持的硬件包括 AMD Radeon R5、R7 和 R9 200 系列或更高版本、Intel HD Graphics 500 系列或更高版本以及 NVIDIA G-Force GTX 900 系列或更高版本。


系统要求
虽然除了上面列出的要求之外,官方系统要求很少,但以下是一些可能有用的一般建议:
成分推荐
操作系统Windows 10/11 或 Linux。
英文键盘布局。
显卡具有充足 VRAM 的高端 NVIDIA GPU。
CPU至少4核CPU。
内存至少 32GB。
取决于其他硬件、页面文件大小和项目大小。
硬盘用于软件和项目文件的 SSD 存储。
风扇全时主动冷却,气流不受限制。
电源提供足够的电力以满足峰值系统使用量的 30%。
使用交流电源,而不是电池。
禁用经济模式、系统睡眠等。

由于 DeepFaceLab 过程需要连续不间断地运行机器数小时,因此建议您不要使用笔记本电脑,除非您可以确保最佳的散热和电力传输。您将面临笔记本电脑的许多组件过热的风险,包括 GPU、CPU、电源和电池。

系统优化:
启用硬件加速 GPU 调度
官方推荐。
增加分页文件大小(增加虚拟内存大小) 高级系统设置 - 高级 - 性能(设置)- 性能选项(高级-更改)帮助减少内存不足 (OOM) 崩溃。
禁用 Windows 动画和效果减少 Windows 保留的 VRAM 量。
注意:Windows 更新可能会重置为默认值。

QQ截图20231212112030.jpg
QQ截图20231212112145.jpg


bat批处理文件和文件夹
打开您提取 DeepFaceLab 的文件夹。这些是制作 DeepFake 所需的所有文件和文件夹,包括 DeepFaceLab 代码、附加包和软件、工作区文件夹以及一些示例视频数据。
主文件夹中的批处理文件允许您与软件交互。它们按照您应遵循的一般顺序进行编号,并具有描述其用途的名称。您可以将它们视为在整个 Deepfake 过程中使用的单独工具。这些文件本身并没有太多作用。相反,它们调用其他 DFL 脚本并向它们传递参数,从而初始化实际的 Deepfake 进程。
_internal 文件夹包含 DeepFaceLab 代码以及其他软件和所需的库,例如 CUDA、Python 和 FFMpeg。您可以在此处修改代码或安装 DFL 存储库的分支

工作区概述
workspace工作区文件夹是保存所有深度伪造数据和文件的位置。workspace工作区文件夹内还有另外 3 个文件夹,用于保存图像和模型文件。这2个视频文件包括data_src(源视频)和data_dst(目标视频)。

Data_src 是您想要深度伪造到视频中的源面孔集。
Data_dst 是您想要将 Deepfake 脸部放入其中的目标视频。
model 文件夹是是放置模型和遮罩模型的文件夹

您可以使用文件名 data_src.* 和 data_dst.* 将这些文件替换为许多常见的视频文件类型。

上面提到的 DeepFaceLab 批处理脚本将期望在这些目录中找到您的文件。不存在的目录通常会由程序根据需要创建。一般来说,您不应尝试移动或重命名文件夹。例如,您可以将“/aligned”文件夹创建为“/aligned-copy”的备份。您可以自由移动或重命名“/aligned-copy”文件夹;它会被软件忽略。但是,如果您移动或重命名“/aligned”文件夹,那么 DeepFaceLab 将无法找到它,并且您的 Deepfake 将失败。此外,您还应该避免使用 DeepFaceLab 可能“保留”的文件夹名称,除非它们包含预期的文件。


文件夹描述
/workspacedata_dst.* 和 data_src.* 视频文件的文件夹目
-/data_dst目标数据的文件夹。将目标图像序列放入此文件夹中。
–/aligned目标面集图像的文件夹。将对齐的面孔图像放入此文件夹中
–/aligned_debug生成的目标调试映像的文件夹。
-/data_src源数据的文件夹。将源图像序列放入此文件夹中。
–/aligned源faceset图像的文件夹。将对齐的面孔图像放入此文件夹中。
–/aligned_debug生成的源调试映像的文件夹。
-/model模型数据的文件夹。将模型文件放置在此文件夹中,包括 XSeg 模型文件。
–/*_autobackups生成的模型文件自动备份的文件夹目录。


第 1 步:清理工作区并导入数据
目的:定义项目工作空间。
可选1)clear workspace.bat (清除 workspace.bat)
删除工作区子目录中的所有数据并重建文件夹结构。保留 data_src.* 和 data_dst.* 视频文件。谨慎使用。


导入数据
使用文件名 data_src.* 和 data_dst.* 将源视频和目标视频放入工作区文件夹中
基本的深度伪造从 2 个视频开始。您可以将自己下载的数据或文件导入到下面指定的目录中。

数据文件夹位置
视频将源视频和目标视频放入工作区文件夹中
使用文件名 data_src.* 和 data_dst.*
照片
图像序列
将源图像放入 /data_src
将目标图像放入 /data_dst
跳到步骤 4 或步骤 5
面集将源对齐面集放入 /data_src/aligned 将
目标对齐面集放入 /data_dst/aligned
跳到步骤 4.2 或步骤 5.2
模型
XSeg 遮罩模型
将模型文件放入 /model 中
预训练 Faceset 数据集将faceset.pak放入_internal/pretrain_faces中
通用 XSeg遮罩模型将通用预训练 XSeg 模型文件放入 _internal/model_generic_xseg 中


步骤 2:从视频中提取源帧图像
目的:为 DeepFaceLab 提供用于人脸集提取的源图像数据。

视频文件必须首先转换为图像序列。这些图像将成为源面集提取的目标,一旦源面集完成,就可以在步骤 4.2 后将其删除。如果您导入了自己的源照片或图像,则可以跳到步骤 3。

运行:2)extract images from video data_src.bat  (从视频中提取图像data_src.bat)
输入 FPS:设置提取的帧率(频率)。
限制从长剪辑和低种类剪辑中提取的帧数量。如果您的剪辑具有多种或独特的帧,那么您可以通过输入“0”来提取所有帧。
示例:从视频中提取 15 fps,即 30 fps = 15/30 = 提取了 1/2 帧。
[工具提示:视频每秒将提取多少帧。0 – 全 fps。]
输出图像格式 ( png / jpg ):选择压缩的 JPEG 或未压缩的 PNG。
选择 png 以获得最佳图像质量。
[工具提示:png 是无损的,但提取速度对于 HDD 来说慢 10 倍,需要比 jpg 多 10 倍的磁盘空间。]
将处理视频文件并为每个帧创建一个 .png 或 .jpg 文件。文件将从“00001.*”开始枚举(例如00001.png)。按任意键或直接关闭窗口。


步骤 3:从视频中提取目标帧图像
目的:为 DeepFaceLab 提供用于人脸集提取的目标图像数据。

这些图像将成为目标人脸集提取的目标。由于目标视频需要所有帧,因此没有用于提取的 fps 输入;所有帧都将被提取。目标图像将用于合并最终帧图像和视频,因此应在项目期间保留它们。如果您已导入自己的目标照片或图像序列,则可以跳至步骤 4。

运行:3)从视频data_dst FULL FPS.bat中提取图像
输出图像格式 ( png / jpg ):选择压缩的 JPEG 或未压缩的 PNG。
选择 png 以获得最佳图像质量。
[工具提示:png 是无损的,但提取速度对于 HDD 来说慢 10 倍,需要比 jpg 多 10 倍的磁盘空间。]
将处理视频文件并为每个帧创建一个 .png 或 .jpg 文件。文件将从“00001”开始枚举。按任意键或直接关闭窗口。


步骤 4:提取源 Faceset
目的:为 DeepFaceLab 提供源对齐的人脸集图像和元数据。

现在您将处理图像并提取要在深度伪造中使用的面部。DeepFaceLab 将检测图像中的人脸,确定人脸标志,生成默认蒙版,对齐人脸,并为每个检测到的人脸输出一个文件,包括嵌入的元数据。下图显示了面部标志的布局。
DeepFaceLab_Face_Landmarks.png

文件将根据原始(父)图像文件名命名。由于每个图像可能有多个脸部,因此每个脸部都会收到一个索引号(从 0 开始),由每个文件名上的后缀指示(例如 12345_0.jpg)。
在下图中,您可以看到人脸标志(绿色)、默认蒙版(灰色)、人脸检测边界框(蓝色)、图像对齐边界框(红色)、向上方向指示器(红色三角形)以及结果示例文件名。正如您所看到的,提取的面集被裁剪并与红色边界框对齐。

DeepFaceLab_Source_Faceset_Extract-1024x1024.png



如果您导入了自己的源faceset,那么您可以跳到步骤5。

提取源人脸集有两种方式:自动或手动模式。自动提取器将不间断地处理所有文件,而手动提取器允许您使用键盘和鼠标输入设置每个帧的面部对齐。对于大多数深度假货来说,手动模式并不是必需的,但它可以用于对齐特别棘手的面孔,例如极端角度、具有沉重视觉效果的图像、动画角色,甚至动物。

脸型
面部类型是在 Deepfake 过程中必须做出的第一个关键决定,因为它决定了可以训练的面部最大区域。覆盖更多面部和头部的较大面部类型将产生更好的深度伪造效果,但它需要更多的系统资源、更长的训练时间、额外的遮蔽和后处理。由于面部类型必须适应各种角度,因此某些提取的图像可能会被裁剪得更紧,而其他图像可能会在面部周围留下更多空间。此外,较大的面部类型可用于训练较小面部类型的模型集。许多 Deepfake 创作者选择 Whole Face (wf) 类型来平衡速度和相似度。
Face Type 脸型描述
head头。覆盖整个头部和头发到颈部。使用 3D 地标。
wf全脸。覆盖头顶至下巴下方。
f整个脸。覆盖额头至下巴
mf中脸(传统)。覆盖眉毛到下巴。
hf半脸(传统)。遮住眼睛到嘴巴。

DeepFaceLab_Face_Types-1024x576.png

在上图中,您可以看到 3 种最常见的人脸类型和原始帧图像。请注意,虽然“头部”类型覆盖了大部分区域,但脸部在左侧对齐的图像中显得最小。您将需要定制面部设置图像尺寸(分辨率)以适应面部类型和原始素材的分辨率。您还可以测量或近似帧中脸部的尺寸,以确定适当的图像尺寸。在 XSeg 掩蔽过程中,最重要的是,在 Deepfake 模型训练过程中,还需要输入人脸类型。脸型会对训练的速度和结果的质量产生很大的影响。


运行:4) data_src faceset extract.bat(data_src 面部提取.bat )自动
Which GPU Index to choice|选择哪些GPU索引?:从列表中选择一个或多个GPU索引来运行提取。
建议在选择多个GPU索引时使用相同的设备。
Face type|人脸类型(f / wf / head):选择提取的人脸类型。
[提示:完整脸 / 整个脸 / 头。‘整个脸’覆盖整个脸部区域,包括额头。‘头’覆盖整个头部,但需要对src和dst faceset使用XSeg。]
Max number of faces from image|每个图像的最大人脸数:选择从每帧中提取的最大人脸数。
[提示:如果提取具有大量人脸帧的src faceset,建议将最大人脸数设置为3以加快提取速度。0 - 无限制]
Image size|图像大小(256-2048):选择提取的人脸集图像文件的大小(分辨率)。
[提示:输出图像大小。图像大小越大,face-enhancer的效果越差。仅当源图像足够清晰且人脸不需要增强时,才使用高于512的值。]
Jpeg quality|Jpeg质量(1-100):选择提取的人脸集图像文件的质量(压缩)。
[提示:Jpeg质量。 Jpeg质量越高,输出文件大小越大。]
Write debug images to aligned_debug|将调试图像写入aligned_debug吗?(y / n):选择是否写入调试图像。
几分钟后,提取将完成,并向您报告找到的图像数量和检测到的人脸数量。源faceset图像文件将创建在data_src/aligned文件夹中。



可选:4) data_src faceset extract MANUAL.bat  手动提取
data_src faceset extract MANUAL.bat (手动源faceset提取器) 与data_src faceset extract.bat具有相同的选项。打开一个界面,手动在图像上设置faceset对齐标记。手动模式每帧仅允许选择一个人脸。
DeepFaceLab_Manual_Extract_Interface-1024x598.png


示例:DeepFaceLab 2.0 手动提取

输入描述
鼠标左键单击锁定/解锁选择
鼠标右键点击手动面部矩形
鼠标滚轮改变矩形大小
Enter确认选择
Space空格键跳过帧
,(逗号)前一帧
.(句号下一帧
Q跳过剩余帧
A精度开/关(更多帧每秒)
H隐藏此帮助

DeepFaceLab 2.0 手动提取键盘输入

步骤 4.1:查看源面部集结果
在提取后,您可以使用附带的VNView图像查看器查看源面部集结果。

运行:4.1) data_src view aligned result.bat
源面部集将在附带的XNView图像查看器中打开。您还可以在data_src/aligned文件夹中找到这些文件。您会注意到这些图像按顺序编号,并带有一个包含下划线和数字的后缀。DeepFaceLab根据原始图像编号和图像中面部的索引为每个文件命名。通常,第一个面部由_0后缀表示,是父框图像中最大的面部。
DeepFaceLab_XNView_Interface_Sample.png


示例:DeepFaceLab 2.0 XNView图像查看器

按索引删除不需要的面部
如果您没有限制每个图像的最大面部数量,提取器可能会产生大量不需要的面部提取和错误检测。

DeepFaceLab_Source_Faceset_Debug_Multiple_faces-1024x576.png


示例:DeepFaceLab 2.0 带有多个面部的调试图像

源面部集原始提取样本:

DeepFaceLab_Extracted_Faceset_Sample-1024x690.png

示例:DeepFaceLab 2.0 在清理之前提取的面部集

使用XNView或导航到data_src/aligned文件夹,您可以开始删除不需要的面部。由于源面部可能是第一个或第二个图像索引,您可以迅速删除其他人的面部。在搜索栏中开始键入‘_0.jpg’。这将显示每个框架图像中检测到的第一个面部。删除任何不需要的面部和错误检测。您还可以开始删除高度旋转或缩放的面部以及对源面部的极端阻碍。现在搜索‘_1.jpg’并从下一个面部索引中删除所有不需要的图像,重复此过程直到达到面部的最后一个索引。清除搜索框并再次检查整个面部集,查找可能遗漏的任何不需要的图像


DeepFaceLab_Source_Faceset_Duplicate_Detection-1024x576.png


示例:DeepFaceLab 2.0 源面部集重复检测

请注意可能存在的重复或错误放置的面部提取。在上面的图像中,您可以看到提取了2个相似的面部。虽然面部边界框(蓝色)找到了2个不同的面部,但特征对齐(绿色)被遮挡,导致图像边界框(红色)瞄准错误的面部。在这种情况下,应保留第一个图像(索引 _0)。如果您不确定哪个面部是正确的,建议删除两者。

步骤 4.2:源面部集排序和清理
目的:精选源输入数据。

面部集提取器将从原始图像中导出许多面部,可能包括错误检测、对齐不良的面部和重复图像。源面部集清理的目标是生成一个准确对齐、具有高变化性且几乎没有重复的主题面部集。由于您可能有大量的源图像,请随时删除任何您不确定的面部。您还应将源面部集修剪到适合目标面部集的角度、表情和颜色。在提取目标面部集后,重新访问此部分。

清理和修剪后的源面部集:
111111111.png
示例:DeepFaceLab 2.0 清理后提取的面集


运行:4.2) data_src sort.bat
有许多不同的排序方法可供选择。
按直方图相似度排序将相似的图像分组在一起,帮助您批量删除不需要的面部和极其相似的图像。按偏航和俯仰排序将帮助您找出对齐不良的面部。按模糊度排序允许您删除低质量的图像。这些排序方法将按照它们的新顺序重命名文件。运行文件‘4.2) data_src util recover original filename’将文件恢复到它们的原始名称和顺序。唯一的例外是最佳面部排序和最佳面部更快排序。这两种方法将要求您输入所需数量的图像,然后从中选择具有不同属性的各种面部。其余的图像将被移动到‘aligned_trash’文件夹。最佳面部排序不是非常准确的,因此不要仅依赖它来创建您的面部集。

[td]
排序方法 描述
[0] blur 模糊度 根据对比度的图像模糊度进行排序
[1] motion blur 运动模糊按运动模糊进行排序
[2] face yaw direction 面部偏航方向  按偏航(水平 / 从左到右)进行排序   左右角度
[3] face pitch direction 面部俯仰方向 按俯仰(垂直 / 从上到下)进行排序   上下角度
[4] face rect size in source image 面部在源图像中的矩形大小按在原始视频帧图像中面部的大小进行排序(降序)
[5] histogram similarity 直方图相似度按直方图相似度进行排序(降序)
[6] histogram dissimilarity 直方图不相似度按直方图相似度进行排序(升序)
[7] brightness 亮度按图像亮度进行排序
[8] hue 色调按图像色调进行排序
[9] amount of black pixels 黑色像素的数量按图像中黑色像素的数量进行排序(升序)
[10] original filename 原始文件名按原始文件名的顺序进行排序。不恢复原始文件名。
[11] one face in image 图像中的一个面部按原始视频帧图像中面部的数量进行排序(升序)。
[12] absolute pixel difference 绝对像素差异按绝对差异进行排序
[13] best faces 最佳面部按多种方法进行排序(带模糊)并删除相似的面部。选择要保留的面部图像的目标数量。被丢弃的面部移动到data_src/aligned_trash。
[14] best faces faster 最佳面部更快按多种方法进行排序(带面部矩形大小)并删除相似的面部。选择要保留的面部图像的目标数量。被丢弃的面部移动到data_src/aligned_trash


Data_src 工具
有几个实用工具可帮助您进行源图像处理。
Data_src 工具描述
4.2) data_src util add landmarks debug images.bat添加面部地标调试图像。
在data_src/aligned中复制面部集图像。
向图像添加可见地标。
在文件名后追加“_debug”
注意:在训练之前从面部集中删除调试图像。
4.2) data_src util faceset enhance.bat过放大增强源面部集
增强的图像将在data_src/aligned_enhanced中创建。
将询问是否要替换(覆盖)原始图像。
4.2) data_src util faceset metadata restore.bat从meta.dat文件还原源面部集元数据
4.2) data_src util faceset metadata save.bat将源面部集元数据保存为meta.dat文件。
[控制台:现在您可以编辑图像!!!在文件夹中保持相同的文件名。
您可以更改图像的大小,还原过程将缩小回原始大小。
之后,请使用还原元数据。]
4.2) data_src util faceset pack.bat将源面部集打包为data_src/aligned/faceset.pak文件
将询问是否要删除原始文件。
4.2) data_src util faceset resize.bat调整和更改源面部集图像的面部类型。
[注意:半脸 / 中脸 / 全脸 / 整个脸 / 头部 / 无更改]
调整大小的图像将在data_src/aligned_resized中创建
将询问是否要替换(覆盖)原始图像.
4.2) data_src util faceset unpack.bat解压源data_src/aligned/faceset.pak文件
Faceset.pak 将被删除。
4.2) data_src util recover original filename.bat在排序后使用原始文件名重命名源面部集文件。
Faceset文件名取自原始视频帧图像的文件名。


步骤5:提取目标人脸集
目的:为DeepFaceLab提供与目标对齐的人脸图像。

目标人脸集提取过程与源人脸集类似。如果您已导入自己的目标人脸集,则可以跳到第5.3步。

运行:5)data_dst faceset extract.bat     目标头像提取自动

Which GPU indexes to choose 选择哪个GPU索引?:从列表中选择一个或多个GPU索引以运行提取。
建议在选择多个GPU索引时使用相同的设备。
Face type 人脸类型(f / wf / head):选择提取的人脸类型。
[提示:完整人脸/整个人脸/头。'整个人脸'包括人脸的整个区域,包括前额。'头'涵盖整个头部,但需要对src和dst人脸使用XSeg。]
Image size 图像大小(256–2048):选择提取的人脸图像文件的大小(分辨率)。
[提示:输出图像大小。图像大小越大,人脸增强器的效果越差。仅当源图像足够清晰且人脸不需要增强时,才使用高于512的值。]
Jpeg quality JPEG质量(1–100):选择提取的人脸图像文件的质量(压缩)。
[提示:JPEG质量。JPEG质量越高,输出文件大小越大。]
几分钟后,提取将完成并向您报告找到的图像数量和检测到的人脸数量。目标人脸图像文件将创建在data_src/aligned文件夹中。调试图像还将在data_dst/aligned_debug文件夹中生成。

可选:5)data_dst faceset extract MANUAL.bat  目标头像提取手动

目标人脸集提取器采用 与 5)data_dst faceset extract.bat相同的选项。打开一个界面,可以在图像上手动设置人脸集对齐的地标。手动模式仅允许每帧选择一个人脸。

可选:5)data_dst faceset extract + manual fix.bat
带有手动修复的目标人脸集提取器采用 与5)data_dst faceset extract.bat相同的选项。具有手动修复选项的自动目标人脸集提取器。在自动提取后,将打开一个界面,允许您在未检测到人脸的视频帧上手动设置人脸集对齐的地标。手动模式允许每帧选择一个人脸。

手动重新提取人脸
您可以手动重新提取对齐不良或未检测到的人脸。在删除不需要的人脸后,您可能希望重新访问此步骤。

首先,通过运行5.1)data_dst view aligned_debug results.bat打开data_dst/aligned_debug文件夹。删除包含对齐不良或未检测到的人脸的任何图像,这些图像要包含在目标人脸集中。接下来,您将仅从删除的帧中手动重新提取人脸。由于在手动模式下只能选择一个人脸,该图像将获得一个索引为_0,并将覆盖该帧和人脸索引的当前对齐图像。该帧的其他索引的对齐图像将保留。虽然不是必需的,但在删除调试图像时,删除相应的对齐图像可能会有帮助。

可选:5) data_dst faceset MANUAL RE-EXTRACT DELETED ALIGNED_DEBUG.bat
打开一个界面,仅在与删除的调试图像相对应的视频帧上手动设置面孔集对齐的地标。

选择哪个GPU索引?:从列表中选择一个或多个GPU索引以运行提取。
建议在选择多个GPU索引时使用相同的设备。
图像大小(256–2048):选择提取的面孔图像文件的大小(分辨率)。
[提示:输出图像大小。图像大小越大,面孔增强器的效果越差。仅当源图像足够清晰且面孔不需要增强时,才使用高于512的值。]
JPEG质量(1–100):选择提取的面孔图像文件的质量(压缩)。
[提示:JPEG质量。JPEG质量越高,输出文件大小越大。]
界面和过程与4) data_src faceset extract manual相同。您将无法更改面孔类型。控制台将记录找到的图像数量和检测到的面孔数量。

步骤5.1:查看目标面孔集结果
提取后,您可以查看目标面孔集。

运行:5.1) data_dst view aligned results.bat



去除不需要的面孔按索引
参考第4.1步:查看源面孔集结果中的索引搜索方法的说明。尽量保留尽可能多的目标面孔集图像。首先删除其他人和误检测的面孔。稍后,您可以参考调试图像来删除和修复不良的对齐。


再次注意可能存在的重复和错误的面部提取。由于您希望尽可能保留多个目标面孔,因此必须小心确定要保留哪个面孔,要删除哪些面孔。在下面的图像中,您可以看到已提取出2张相似的面孔。尽管面孔边界框(蓝色)找到了2张不同的面孔,但特征对齐(绿色)被遮挡,这导致图像边界框(红色)瞄准错误的面孔。使用调试图像确定哪张是理想的面孔。


示例:DeepFaceLab 2.0重复面孔检测
可选:5.1) data_dst view aligned_debug results.bat
在XNView中打开目标对齐调试图像。使用此图像查看对应的对齐不良的面孔集图像。


在运行5) data_dst faceset MANUAL RE-EXTRACT DELETED ALIGNED_DEBUG之前,请使用此查看器删除包含对齐不良面孔的调试图像。


步骤5.2:目标面孔集排序、清理和重新提取
目的:整理目标输入数据。


运行:5.2) data_dst sort.bat
参考第4.2步:源面孔集排序和清理的排序方法的基本说明。


对于目标面孔集,您希望保留尽可能多的面部图像,因为删除的任何面部将不会出现在最终的深度伪造中。


Data_dst实用工具
有一些工具可帮助您进行目标图像处理。


data_dst util        描述
4.2) data_dst util faceset pack.bat        将目标面孔集打包为data_dst/aligned/faceset.pak文件。
删除原始文件?(y/n):选择在打包后删除原始文件。        
4.2) data_dst util faceset resize.bat        调整和更改目标面孔集图像的面孔类型。调整大小后的图像将在data_dst/aligned_resized中创建。
新图像大小(128-2048):选择新的面孔图像大小(分辨率)。        
更改面孔类型(h/mf/f/wf/head/same):选择更改面孔类型。        
[注:半脸/中脸/全脸/整个脸/头部/无更改]        
将data_src/aligned_resized合并到data_src/aligned?:选择用调整大小后的图像替换(覆盖)原始面孔图像。        
4.2) data_dst util faceset unpack.bat        解包目标data_dst/aligned/faceset.pak文件。Faceset.pak将被删除。
4.2) data_dst util recover original filename.bat        在排序后使用原始文件名重命名目标面孔集文件。Faceset文件名取自原始视频帧图像文件名。
DeepFaceLab 2.0目标实用工具        
步骤5.3:XSeg蒙版标记和XSeg模型训练
目的:为模型训练和合并定义面孔集蒙版区域。


每个面孔在提取过程中都将包括一个默认的蒙版。创建Xseg蒙版允许您指定面部的哪些区域将或不将被训练,并定义用于合并的蒙版形状。使用XSeg将会得到更好的合成效果,并增加与源面孔集的相似性。XSeg蒙版还将帮助模型确定面孔的尺寸和特征,从而产生更真实的眼睛和嘴巴运动。虽然默认蒙版对于较小的面孔类型可能有用,但较大的面孔类型,如整个脸和头部,需要最佳结果的自定义XSeg蒙版。Xseg蒙版还允许您排除障碍物,如手、头发、眼镜、穿孔等。


XSeg实用工具
在开始使用XSeg之前,请先阅读此表格,了解各种可用工具。


XSeg实用工具        描述
5.XSeg Generic) data_dst whole_face mask – apply.bat        将通用XSeg整脸蒙版应用于目标面孔集。
5.XSeg Generic) data_src whole_face mask – apply.bat        将通用XSeg整脸蒙版应用于源面孔集。
5.XSeg) data_dst mask – edit.bat        编辑目标XSeg蒙版标签。
5.XSeg) data_dst mask – fetch.bat        将带有XSeg标签的目标面孔集图像复制到data_dst/aligned_xseg。
5.XSeg) data_dst mask – remove.bat        从目标面孔集图像中删除XSeg蒙版标签。
5.XSeg) data_dst trained mask – apply.bat        将经过训练的XSeg蒙版应用于目标面孔集。
5.XSeg) data_dst trained mask – remove.bat        从目标面孔集中删除经过训练的XSeg蒙版。
5.XSeg) data_src mask – edit.bat        编辑源XSeg蒙版标签。
5.XSeg) data_src mask – fetch.bat        将带有XSeg标签的源面孔集图像复制

国外的模型训练工作流(SAEHD)
第一阶段:预训练(可选)
  • 第1步 - 预训练模型或导入预训练模型
  • Enter all the model settings. 输入所有模型设置。
  • Enable Pretrain mode.  启用预训练模式。
第二阶段:泛化/扭曲训练
  • 第2步 - 随机扭曲
  • Enable Random Warp of samples   启用样本的随机变形。
  • Enable Masked training (WF/Head only)   启用遮罩训练(仅限于文字生成器/文本生成器)
  • Disable True Face Power (DF models only)    禁用“真实面孔”力量(仅限DF模型)
  • Disable GAN 禁用 GAN
  • Disable Pretrain mode. 关闭预训练模式。
  • (Optional) Flip SRC randomly, Flip DST randomly, Color Transfer Mode, Random HSL      (可选) 随机翻转 SRC 和 DST,颜色转换模式,随机 HSL
  • (Optional) Add or remove faceset images and alter masks during warp phase    (可选) 在变形阶段添加或移除人脸集图像,并修改掩模。
  • (Optional) Enable gradient clipping as needed    (可选) 视需要启用梯度裁剪
  • 第3步 - 眼睛和嘴巴优先级(可选)
  • Enable Eyes and mouth priority  启用“眼睛和嘴巴优先”功能。
  • 第4步 - Uniform Yaw (Optional) 统一偏航(可选)
  • Disable Eyes and mouth priority  关闭“眼睛和嘴巴优先”功能。
  • Enable Uniform yaw distribution of samples  启用样本均匀绕转分布
  • 第5步 -   Learning Rate Dropout (Optional) 学习率衰减(可选)
  • Enable Use learning rate dropout  启用学习率下降策略
  • (Optional) Disable Uniform yaw distribution of samples (可选) 禁用样本的均匀偏航分布
第三阶段:规范化/常规训练
  • 第6步 - 定期训练
  • Disable Random Warp  禁用随机扭曲
  • Disable Uniform Yaw  禁用均匀偏航
  • Disable Eyes and mouth priority  关闭“眼睛和嘴巴优先”功能。
  • Disable Use learning rate dropout  关闭使用学习率下降策略
  • 第7步 - Style and Color (Optional) 样式和颜色(可选)
  • Enable Blur out mask, ‘True Face’ power (DF only), Face style power, Background Style Power  启用“模糊遮罩”、“真实面容”(仅限于DF)、“人脸风格”、“背景风格”功能。
  • 第8步 - Eyes and Mouth Priority (Optional) 眼睛和嘴巴优先级(可选)
  • Enable Eyes and mouth priority启用“眼睛和嘴巴优先”功能。
  • 第9步:Uniform Yaw (Optional) 统一偏航(可选)
  • Disable Eyes and mouth priority  关闭“眼睛和嘴巴优先”功能。
  • Enable Uniform yaw distribution of samples  启用样本均匀绕转分布
  • 第10步 - LRD(可选)
  • Enable Use learning rate dropout  启用学习率下降策略
  • Disable Eyes and mouth priority  关闭“眼睛和嘴巴优先”功能。
  • (Optional) Disable Uniform yaw distribution of samples  (可选) 禁用样本的均匀偏航分布
第4阶段:增强/生成对抗网络(可选)
  • 第11步 – GAN 第 11 步 – GAN
  • Disable Eyes and mouth priority  关闭“眼睛和嘴巴优先”功能。
  • Disable Uniform yaw distribution of samples  禁用均匀的样本偏航分布
  • Set GAN power 设置GAN功率
  • Set GAN patch size 设置GAN补丁大小
  • Set GAN dimensions 设置GAN尺寸
AIBL论坛免责申明
本论坛刊载的所有内容,包括图片、软件、模型等均在网上搜集。
论坛提供的内容仅用于个人学习、研究或欣赏。我们不保证内容的正确性。通过使用本站内容随之而来的风险与本站无关
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

0

主题

10

回帖

47

积分

初级丹童

积分
47
发表于 2023-12-14 14:18:00 来自手机 | 显示全部楼层
感谢分享
回复

使用道具 举报

0

主题

50

回帖

581

积分

初级丹师

积分
581
发表于 2023-12-14 19:25:55 | 显示全部楼层
感谢分享,每一天都要认真学习。
回复

使用道具 举报

0

主题

3

回帖

9

积分

初级丹童

积分
9
发表于 2023-12-17 15:59:25 | 显示全部楼层
好东西 学习学习
回复

使用道具 举报

0

主题

3

回帖

11

积分

初级丹童

积分
11
发表于 2023-12-17 21:03:06 | 显示全部楼层
3070显卡能用吗?????
回复

使用道具 举报

0

主题

2

回帖

14

积分

初级丹童

积分
14
发表于 2023-12-18 02:48:38 | 显示全部楼层
好东西 学习学习

回复

使用道具 举报

1

主题

8

回帖

508

积分

初级丹师

积分
508
发表于 2024-1-16 08:49:33 | 显示全部楼层
太高深了,羡慕中...
回复

使用道具 举报

3

主题

52

回帖

251

积分

高级丹童

积分
251
发表于 2024-1-25 22:02:57 | 显示全部楼层
感谢分享
回复

使用道具 举报

0

主题

7

回帖

20

积分

初级丹童

积分
20
发表于 2024-2-5 18:55:26 | 显示全部楼层
感谢分享经验
回复

使用道具 举报

0

主题

2

回帖

5

积分

初级丹童

积分
5
发表于 2024-2-6 01:30:25 | 显示全部楼层
感谢分享
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|AIBL论坛

GMT+8, 2024-11-21 16:51 , Processed in 0.110453 second(s), 26 queries , Gzip On.

Powered by AI技术论坛 X3.5

© 2001-2023 dfl论坛

快速回复 返回顶部 返回列表