AIBL论坛

 找回密码
 立即注册
本论坛所有软件旨在帮助用户创建逼真且有趣的内容,帮助做自媒体的人制作原创有趣的视频或广告,如果使用别人的肖像,使用之前需获得同意和许可(建议使用AI生成的人脸),严禁使用软件制作任何不正规视频,如发现用于不正规用途,一律删号处理
查看: 420|回复: 6

转DFL换脸技术关键三要素

[复制链接]

6

主题

3

回帖

194

积分

高级丹童

积分
194
发表于 2024-9-15 17:02:35 | 显示全部楼层 |阅读模式
本帖最后由 woshini 于 2024-9-15 17:10 编辑

素材---模型---方法

----------------------------三个关键要素缺哪个都影响着整个换脸效果

---换脸目的就是把SRC的面貌特征整体搬到DST上
---从脸庞能让人分辨出是某人,无不在于动作,表情及神情姿态
---要把这些特征能尽可能的搬到DST上,模型架构很重要,这就是为什么我热衷DF模型架构的原因之一
---模型是面折射镜,效果好坏全靠素材的映射,模型再好若没好素材就成了面照妖镜
---好素材、好模型,出好效果后还需要好方法才能合成出好的效果

素材
---所谓一套完整的SRC素材,包含各种角度,各种光景,各种表情,各种神态;除非你是要做大工程,不然并没有必要去追求
---SRC素材只要有DST的角度范围内的表情,神态,特征已经能完成一次换脸操作
---素材如果缺角度,那效果就不能换出SRC的角度样子(换出来轮廓看上去不像,百分之60的不像都因轮廓)
---素材如果缺表情,那效果就不能体现SRC的表情特征(换出来该闭眼的没闭,该笑的却在哭等)
---素材如果缺光影,那效果就不能溶入DST的背景光线(脸部出现闪烁,颜色不对,很难融合等)
---素材清晰度是各人追求,如果DST素材原本不算高清,也没必要SRC的超清,非要毛孔都出来的,这也是一种追求
---总的来说,素材如果不齐,效果就不可能会好,最关键的要素


模型
---当你有了一套完整的SRC素材,如果没有好的模型去给你映射出效果,那也是需要花费很大的时间与精力
---是不是有时训练的迭代数很多很久都觉得不像SRC?又或者SRC素材本来很齐全,却怎么都练不出好的效果?怎么看都留有DST的影子?很难变得清晰?这时你就要考虑是模型的问题
---如果用亚州女性人像练的模型,在换男性人脸时会很慢,换欧美人时会更慢,为什么?因为人像练出来的模型局限性很大,不同人种的五观位置不一样,限定模型在某个特定区域对色彩的学习
---这种情况常在遇到五观位置差别大时就会出现,一但出现就要通过开启各种参数来重新调整让模型学习
---把模型当作一辆车,一档起步,到了时速20KM时换二档,30KM换三档,40KM换四档,50换五档,80以上换6档
---相当于在训练过程中视迭代效果来开启各项参数,以保证模型的正常学习率
---后来对模型研究有了深入的了解和突破,相当于把一辆车的各项性能都调较得比较完美,只需要一组参数就能跑到输出,连LRD,GAN都不需要了。相当于起步一档就到120KM
---所以有好素材,没有好的模型,效果也不会有预期中的理想,好模型是你成功换脸的第二关键要素

方法
---新手就按照下边的方法

参数开关第一阶段第二阶段第三阶段第四阶段第五阶段第六阶段第七阶段第八阶段完成阶段
SRC随机反转:Flip SRC faces randonly (不太建议使用)关闭关闭关闭关闭关闭关闭关闭关闭关闭
DST随机反转:Flip Dst focey randomly (素材较少时建   常开)开启开启开启开启开启开启开启开启开启
批量大小:Batchszdoo(如模型崩溃,请尝试降低此参数至正常运行)4/88/168/168/168/168/168/16推荐168/16
训练遑罩:Masked calning (建议全程开启)开启开启开启开启开启开启开启开启开启
眼嘴优先:Eyesand mouth priority关闭开启关闭关闭关闭开启关闭关闭开启
侧脸优化:Uniform yaw distribution of samples关闭关闭开启开启关闭关闭开启关闭开启
迪媢边掾模糊:Blur out mask (建议中后期开启)关闭关闭关闭关闭开启开启开启关闭开启
模型和优化器放GPU上: Place models and optimizer on GPU
开启开启开启开启开启开启开启开启开启
信仰优化器:Use AdaBeliefoptimizer (建议全程开启)
开启开启开启开启开启开启开启开启开启
学习率下降:Use learning rate dropout
关闭关闭关闭开启关闭关闭关闭开启关闭
随机扭曲:Enable random warp of samples
开启开启开启开启关闭关闭关闭关闭关闭
随机色调/饱和度/光强度
关闭关闭关闭关闭0.010.010.01关闭关闭
Gan强度:GAN power(容易崩溃,抛出想要效果后及时关闭)
关闭关闭关闭关闭关闭关闭关闭0.01关闭
真睑强度: True face' power
关闭关闭关闭关闭0.010.010.01关闭关闭
背景强度:Background style powe
关闭关闭关闭关闭0.010.010.01关闭0.01
颜色转换模式:Color trevsier oroaceset
nonenonenonenonerct/lctrct/lctrct/lctrct/lctrct/lct
梯度剪裁:Enable gt zoeulipping开启开启开启开启开启开启开启开启开启
预训练(不是跑万能底就无需开启)关闭关闭关闭关闭关闭关闭关闭关闭关闭
阶段转换条件,主要看预压窗口效果建议每次调整参数前都先备份好模型文件loss<0.3或loss极慢或不降反升loss<0.3或
不降反升
loss<0.1或
不降反升
loss极慢或
不降反升
loss极慢或
不降反升
loss极慢或不降反升注意备份
至少2-3W
不降反升




只分享比较好的模型, 很差很模糊的模型咱不分享,原来出售模型来灵石这么快,,,,,,,,,,,
AIBL论坛免责申明
本论坛刊载的所有内容,包括图片、软件、模型等均在网上搜集。
论坛提供的内容仅用于个人学习、研究或欣赏。我们不保证内容的正确性。通过使用本站内容随之而来的风险与本站无关
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

0

主题

19

回帖

51

积分

中级丹童

积分
51
发表于 2024-9-20 23:05:22 | 显示全部楼层
感谢分享
回复

使用道具 举报

2

主题

6

回帖

44

积分

初级丹童

积分
44
发表于 2024-10-6 00:47:07 | 显示全部楼层
感谢分享
回复

使用道具 举报

1

主题

12

回帖

65

积分

中级丹童

积分
65
发表于 2024-10-6 12:24:19 | 显示全部楼层
本帖最后由 brianhiew 于 2024-10-8 01:11 编辑

想学好的还是建议多多尝试各种参数,主要是选各种不同的短视频开始摸索,才能有自己的一套

是短视频 短视频 短视频

很重要说三次

感谢分享
回复

使用道具 举报

0

主题

5

回帖

25

积分

初级丹童

积分
25
发表于 5 天前 | 显示全部楼层
就是原始素材要很多很多,才行不然换出来 来的4不像
回复

使用道具 举报

0

主题

4

回帖

26

积分

初级丹童

积分
26
发表于 4 天前 | 显示全部楼层
感谢分享
回复

使用道具 举报

0

主题

7

回帖

17

积分

初级丹童

积分
17
发表于 3 天前 | 显示全部楼层
感谢分享
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|AIBL论坛

GMT+8, 2024-10-15 08:50 , Processed in 0.091960 second(s), 21 queries , Gzip On.

Powered by AI技术论坛 X3.5

© 2001-2023 dfl论坛

快速回复 返回顶部 返回列表