Jorble 发表于 2023-12-9 00:10:55

GEM-邓紫棋-基于猫224df-d 专丹（原版可用）

在练这个丹的时候有蛮多想法的，之前练了一次100W的256，发现许多问题，优化后决定用猫之224小试牛刀。

此丹是基于猫之汉化224底丹，ICE版本使用，已转化为普通丹，原版DFL请下载对应版本。
全程开启参数：
遮罩约束训练范围：之前试过不开启，会出现很多问题，就不一一赘述了
均衡侧脸训练权重
素材增强-颜色转换器: lct
真脸应用强度: 0.01
梯度剪裁: 由于许多切脸来自MV，不可避免少部分切脸的光影、头发会比较复杂，全程开启也是避免炸丹。

使用素材：
DST：1. FFHQ全角度512分辨率7万张素材已按性别 人种归档 选用亚洲女性
         2.【3D牙齿图集（带精确遮罩）】3000张，F1024，多角度多表情 由于GME下牙齿并不好看，所以我发现所有视频GEM在避免露出下牙，因此选取尽可能露出下牙部分 分别加入 DST\SRC 进行训练
         3.DST全角度训练图集V3.1 WF512【2.6W张 6GB 】 选取多角度训练，极端角度仍然具有空间
SRC：
         1.邓紫棋_wf 1024 4K这个是基础，但由于经验不足，里面许多切脸无法达到现在的需求，所以在此版本上加入了2000张近景4K，并剔除了绝大部分面部不够清晰、牙齿不够清晰的切脸（发现有坛友去购买，已上传最新版）
         2.【3D牙齿图集（带精确遮罩）】3000张，F1024，多角度多表情 由于GME下牙齿并不好看，所以我发现所有视频GEM在避免露出下牙，因此选取尽可能露出下牙部分 分别加入 DST\SRC 进行训练

说一下不足的地方吧，牙齿虽然想了不少办法，但是可能由于GAN的次数不足，还是难以达到足够清晰的效果。（也可能是因为我想保留GEM的上牙，导致所选牙齿图集比较局限）
训练流程：
第一阶段：
BS :4 ,开启随机扭曲 15万左右
第二阶段：
BS :4 ,开启随机扭曲，开启学习率衰减 15万左右
第三阶段：
BS :24,关闭随机扭曲，开启眼嘴优先 ，random color 0.05 15万左右 （这个阶段加入了牙齿图集，开随机颜色也是为了补充光影）
第四阶段：
BS :24 GAN：0.1 25万左右


_____________________模型摘要______________________
                                                   
模型名称:: 猫之汉化224df-d 4G可用_SAEHD
                                                   
当前迭代: 705172
                                                   
_____________________模型参数______________________
                                                   
模型架构: df-d
人脸类型: wf
模型分辨率: 224
自动编码器维度 ae_dims: 192
编码器维度 e_dims: 48
解码器维度 d_dims: 48
解码器掩码维度 d_mask_dims: 16
BS大小: 24
学习率lr: 5e-05
瘦化神经网络 lr_dropout: 开启
loss平滑: 开启
loss平滑强度: 5
遮罩约束训练范围: 开启
均衡侧脸训练权重: 开启
素材增强-颜色转换器: lct
GAN生成纹理细节强度: 0.1
GAN 结构识别器维度: 36
GAN 生成器的维度: 16
真脸应用强度: 0.01
RG优化器: 开启
信仰优化器 adabelief: 开启
模型优化器放置于GPU: 开启
梯度剪裁: 开启
自动备份时间: 2
版本: V3

https://luntantup.oss-cn-shanghai.aliyuncs.com/forum/202310/08/152840bayvxv8becih3av8.png?x-oss-process=image/auto-orient,1/quality,q_90/watermark,text_REZMZGF0YS54eXrmjaLohLjorrrlnZs,type_ZmFuZ3poZW5naGVpdGk,color_ffffff,size_22,g_se,x_10,y_10
https://luntantup.oss-cn-shanghai.aliyuncs.com/forum/202310/08/165941nlv2565y5sl99eh2.png?x-oss-process=image/auto-orient,1/quality,q_90/watermark,text_REZMZGF0YS54eXrmjaLohLjorrrlnZs,type_ZmFuZ3poZW5naGVpdGk,color_ffffff,size_22,g_se,x_10,y_10
https://luntantup.oss-cn-shanghai.aliyuncs.com/forum/202310/08/152855t4j66361cfws49s9.png?x-oss-process=image/auto-orient,1/quality,q_90/watermark,text_REZMZGF0YS54eXrmjaLohLjorrrlnZs,type_ZmFuZ3poZW5naGVpdGk,color_ffffff,size_22,g_se,x_10,y_10
https://luntantup.oss-cn-shanghai.aliyuncs.com/forum/202310/08/152913knxiayazylzj51nx.png?x-oss-process=image/auto-orient,1/quality,q_90/watermark,text_REZMZGF0YS54eXrmjaLohLjorrrlnZs,type_ZmFuZ3poZW5naGVpdGk,color_ffffff,size_22,g_se,x_10,y_10

以下是0训练合成效果：
https://luntantup.oss-cn-shanghai.aliyuncs.com/forum/202310/08/152939ezjvfjfqvfpwjvwa.png?x-oss-process=image/auto-orient,1/quality,q_90/watermark,text_REZMZGF0YS54eXrmjaLohLjorrrlnZs,type_ZmFuZ3poZW5naGVpdGk,color_ffffff,size_22,g_se,x_10,y_10
https://luntantup.oss-cn-shanghai.aliyuncs.com/forum/202310/08/154039xucyluuuacvz0ov1.png?x-oss-process=image/auto-orient,1/quality,q_90/watermark,text_REZMZGF0YS54eXrmjaLohLjorrrlnZs,type_ZmFuZ3poZW5naGVpdGk,color_ffffff,size_22,g_se,x_10,y_10
推荐合成参数：
W      50左右
E       100左右
C       根据效果自行选择吧
PS：请勿用于任何违法行为，下载即同意！！
欢迎大佬进行讨论，指出不足之处，

***本内容需购买可见***

航铭的爸爸 发表于 2023-12-10 00:14:21

这的付出多少。

存在的天空 发表于 2023-12-10 11:32:35

感谢分享

z168069515 发表于 2024-3-31 05:52:21

回帖挣灵石

z168069515 发表于 2024-3-31 06:37:55

训练素材在哪搞阿？

好人一生平安 发表于 2024-4-3 21:23:17

我们是签到的小学生

chy1213 发表于 2024-4-26 10:37:57

感谢分享

鱼宝宝 发表于 2024-5-5 20:57:38

感谢分享
页: [1]
查看完整版本: GEM-邓紫棋-基于猫224df-d 专丹（原版可用）